Dzimis 1897. gadā Rjazaņas guberņas zemnieku ģimenē. 1917. gadā iestājās boļševiku partijā. Piedalījās Krievijas pilsoņu karā. 1921. gadā beidza Militāro akadēmiju. No 1936. gada septembra līdz 1937. gadam ar pseidonīmu "ģenerālis Pavlovičs" piedalījās Spānijas pilsoņu karā. Sākoties Ziemas karam, bija Ļeņingradas kara apgabala komandieris. Iesākumā vadīja kaujas operācijas pret Somijas armiju, tomēr, saistībā ar neveiksmēm frontē, kaujas operāciju vadību pārņēma Stavka.
Pēc Vācijas iebrukuma PSRS Mereckovu nozīmēja par Stavkas padomnieku, tomēr 23. jūlijā viņu arestēja NKVD. Pēc divu mēnešu ieslodzīojuma Lubjankā Mereckovu atbrīvoja un iecēla par 4. armijas komandieri, kas cīnījās pie Ļeņingradas.
1941. gada decembrī Mereckovs tika iecelts par Volhovas frontes komandieri. Šeit 1942. gada pirmajā pusē vadīja kaujasdarbību Ļubaņas operācijas laikā, kas izvērtās par vienu no lielākajiem Sarkanās armijas zaudējumiem kara laikā (šajā operācijā vāciešiem padevās Andrejs Vlasovs).