Dzimis un uzaudzis Igaunijā. 1953. gadā beidza Ļeņingradas garīgo akadēmiju. 1961. gada 14. augustā tika iecelts par Tallinas un Igaunijas bīskapu, paralēli uzticot pagaidām vadīt arī Rīgas bīskapiju. Tallinas bīskapiju vadīja līdz pat 1992. gadam, vēl pēc tam, kad 1990. gadā tika ievēlēts Maskavas patriarhu. Kļuvis par patriarhu 18 mēnešus pirms PSRS sabrukuma, bija pirmais patriarhs, kas tika ievēlēts salīdzinoši brīvās vēlēšanās. Uzstājās pret Augusta puča līderiem, izlaižot anatēmu. Aleksija II patriarhāta laikā uzstājās par baznīcas lomas pieaugumu sabiedrībā. Tika kanonizēti vairāki Krievijas augstmaņi un garīdznieki, kuri tika nogalināti boļševiku valdīšanas laikā.