Rakstos pirmoreiz minēta 1256. gadā. Ilgu laiku atradās Hābsburgu impērijas sastāvā. Pilsētas vāciskais nosaukums bija Cvitava (vācu: Zwittau). No 1918. gada — Čehoslovākijas sastāvā. No 1938. līdz 1945. gadam kā Sudetu apgabala daļa atradās Vācijā. Pēc Otrā pasaules kara — atkal Čehoslovākijā. Pamatojoties uz Beneša dekrētiem, pilsētas vācu iedzīvotāji tika padzīti. Kopš 1993. gada — Čehijā.
Svitavi ir ebreju glābēja Oskara Šindlera (Oskar Schindler, 1908-1974) dzimtā pilsēta. Pilsētas pievārtē — Brnenecā atradās Šindlera rūpnīca, kurā viņš nodarbināja no nometnes atbrīvotos ebrejus.