Dzimis Donas Karaspēka apgabalā t.s. "citpilsētnieku" (иногородние) ģimenē, t.i., nepiederēja pie kazaku sociālā slāņa. Strādāja dažādus darbus, līdz 1903. gadā tika iesaukts Krievijas armijā. Kazaku karaspēka sastāvā piedalījās Krievijas—Japānas karā. Pirmajā pasaules karā kā apakšvirsnieks karoja vācu, austriešu un Kaukāza frontē. Par drošsirdību ieguva Jura krustu pilnu komplektu.
Pēc Oktobra revolūcijas atgriezās dzimtajā staņicā. 1918. gadā šeit nodibināja kavalērijas vienību, kas darbojās pret baltajiem Donas apgabalā. Apvienojot vairākas citas daļas, 1919. gada 17. novembrī tika nodibināta 1. kavalērijas armija — viena no pazīstamākajām sarkano vienībām Krievijas pilsoņu kara laikā. Armija izcēlās kaujās Krievijā un Ukrainā pret Deņikina karaspēku. Poļu—padomju kara laikā Budjonnija armija cieta smagu sakāvi Komarovas kaujā no 1920. gada 30. augusta līdz 2. septembrim, kas bija viena no lielākajām kavalērijas kaujām kopš 1813. gada, un pēdējā lielā kauja vēsturē, kuras rezultātu izšķīra kavalērija.
Pēc Vācijas iebrukuma PSRS Budjonnijs tika iecelts par dienvidrietumu virziena komandieri (главком). Vadīja PSRS karaspēka kaujas Ukrainā. Pēc tam, kad Umaņas kaujas un Kijevas kaujas rezultātā simtiem tūkstošu padomju karavīru krita vai tika sagūstīti, Budjonnijs tika pārcelts par Rezerves frontes komandieri. 1942. gada maijā—augustā komandēja Ziemeļkaukāza fronti. No 1939. līdz 1952. gadam bija PSKPCK loceklis. Pēc Staļina nāves ieņēma vairākus, lielākoties ceremoniālus amatus. Miris 90 gadu vecumā.