1939. gadā kā korpusa komandieris piedalījās Polijas austrumu teritoriju (mūsdienu Baltkrievijas rietumi) ieņemšanā. Pēc Vācijas uzbrukuma PSRS 1941. gada 28. jūnijā tika iecelts par Rietumu frontes pavēlnieku no amata atceltā (un vēlāk nošautā) Dmitrija Pavlova vietā, tomēr 4. jūlijā frontes vadītāja pienākumus sāka pildīt Semjons Timošenko. Jerjomenko bija viens no padomju komandieriem Smoļenskas kaujas laikā 1941. gada jūlijā/augustā, kur ievainots. Nokļuva ielenkumā Vjazmas operācijas laikā 1941. gada oktobrī, kur atkal ievainots. Staļingradas kaujas laikā 1942./43. gada ziemā komandēja Staļingradas fronti, noturot vācu armijas uzbrukumu.