Dzimis zemnieku ģimenē. Armijā no 1932. gada. Kā tanku rotas komandieris piedalījās PSRS iebrukumā Polijā 1939. gada septembrī un Ziemas karā Somijā. Pēc Vācijas iebrukuma PSRS kā tanku bataljona komandieris piedalījās kaujās Baltkrievijā. 1942. gada martā kļuva par tanku brigādes komandieri, piedalījās kaujās Donbasā un Staļingradas kaujā. Karoja Kurskas kaujā un Dņepras forsēšanas kaujās. Piedalījās kaujas Polijā, Vācijā un Čehijā.
1948. gadā beidza Ģenerālštāba akadēmiju. 1960. gada aprīlī tika iecelts par PSRS karaspēka grupas Vācijā virspavēlnieku. Kad izcēlās 1961. gada Berlīnes krīze, kuras rezultātā tika uzcelts Berlīnes mūris, Jakubovskis kļuva par Vācijā dislocētā PSRS karaspēka virspavēlnieka vietnieku, jo par komadieri tika iecelts Ivans Koņevs. Situācijai normalizējoties, Jabubovskis atkal kļuva par virspavēlnieku. 1965. gadā tika iecelts par Kijivas Kara apgabala komandieri. 1967. gada aprīlī kļuva par PSRS Aizsardzības ministra Andrija Grečko vietnieku un Varšavas līguma valstu karaspēka virspavēlnieku.