Pirmo reizi rakstiskajos avotos Kasele ir pieminēta 913. gadā kā Chassala (Chassela). Iespējams, ka šis nosaukums ir atvasināts no latīņu-franku vārda castella, kas nozīmē "cietoksnis". Viduslaikos pilsētas nosaukums bija Casle. 1277. gadā Kasele kļuva par Hesenes landgrāfa rezidenci. No 1567. līdz 1866. gadam Kasele bija Hesenes elektorāta administratīvais centrs; tā no 1807. līdz 1813. gadam bija arī īslaicīgi pastāvošās Vestfālenas (Westfalen) karalistes galvaspilsēta. Pēc 1866. gada līdz 1944. gadam Kasele bija Prūsijas provinces Hesenes-Nasavas (Hesse-Nassau) administratīvais centrs. Otrā pasaules kara laikā Kasele bija vācu lidmašīnu un tanku ražošanas centrs, tādēļ to stipri izpostīja Sabiedrotobombardēšana. Pēc kara pilsēta tika atjaunota.