Boļševiku partijas biedrs no 1911. gada. Oktobra revolūcijas laikā vadīja sacelšanos Gomeļā. 1922. gadā, kad Staļins kļuva par partijas ģenerālsekretāru, Kaganovičs tika iecelts par partijas CK orgbiroja locekli un šajā amatā, ar pārtraukumu, palika līdz pat 1946. gadam. Karjeras laikā bija daudzos augstos amatos - VK(b)P politbiroja loceklis, VK(b)P sekretārs, vairākkārt vadīja ministrijas, bija Ukrainas PSR faktiskais vadītājs. Aktīvi realizēja Staļina kolektivizācijas un industrializācijas politiku. Sevišķa ietekme Kaganovičam bija Maskavas rekonstrukcijā un darbībai holodomora laikā Ukrainā. Aktīvi piedalījās 1937./38. gada represijās.
1957. gadā, pēc nesekmīga apvērsuma mēģinājuma pret PSKP CK ģenerālsekretāruŅikitu Hruščovu, tika atbrīvots no amatiem un dzīvoja kā personālais pensionārs. Mira tikai dažus mēnešus pirms PSRS sabrukuma.