Dzimis zemnieku ģimenē. 1920. gadā iesaukts Sarkanajā armijā. Piedalījās kaujās pret Mahno armiju. No 1926. gada studēja Frunzes Kara akadēmijā un Krievijas Ģenerālštāba akadēmijā. 1938. gadā tika iecelts par Kijivas kara apgabala štāba priekšnieku.
1940. gadā piedalījās Besarābijas (mūsdienās Moldova) okupācijā. Pēc Vācijas iebrukuma PSRS no 1941. gada 30. jūnija līdz 1942. gada maijam bija Ziemeļrietumu frontes štāba priekšnieks un plānoja Ļeņingradas aizstāvēšanas operācijas. No 1942. gada 14. jūlija līdz 1942. gada 22. oktobrim bija Voroņežas frontes komandieris. 1942. gada oktobra līdz 1943. gada 28. martam bija Dienvidrietumu frontes komandieris un viens no Staļingradas kaujas padomju puses komandieriem. No 1943. gada marta līdz 1943. gada oktobrim atkal komandēja Voroņežas fronti. Šajā laikā bija viens no komandieriem Kurskas kaujā. Pēc tam komandēja 1. Ukrainas fronti, kuras karaspēks 6. novembrī ieņēma Kijivu.
1944. gada 29. februārī Vatutins tika ievainots Ukrainas nemiernieku armijasuzbrukumā frontes aizmugurē Ukrainas rietumos (mūsdienu Ostrohas rajonā). Ievainojuma rezultātā mira hospitālī Kijivā. Apglabāts parkā Kijivas centrā. 2015. gadā Vatutina meita lūdza Krievijas varas iestādes palīdzēt pārnest Vatutina pīšļus uz Krievijas militāro kapsētu Mitiščos.