Apdzīvotā vieta rakstos pirmoreiz minēta 1055. gadā. Viduslaikos pilsēta bija Bohēmijas karalienes īpašums (Královské věnné město), un karalienes galmam piegādāja kviešus. Ilgu laiku pilsēta atradās Hābsburgu impērijas sastāvā. No 1918. gada - Čehoslovākijas sastāvā. Kopš 1993. gada - Čehijā.
Hrudima ir slēpotāja Jirži Magāla (Jiří Magál, 1977) un mūsdienu kuģu dzenskrūves izgudrotāja Josefa Resela (Josef Ressel, 1793-1857) dzimtā pilsēta. 1055. gadā Hrudimā mira Bohēmijas valdnieks kņazs Bržetislavs I (Břetislav I., 1002/05 - 1055).