Vēstures avotos Oni pirmoreiz minēta 15. gadsimtā kā Račas kņazistes centrs. Pēc Gruzijas pievienošanas Krievijai 1846. gadā Oni kļuva par Račas apriņķa centru. Caur pilsētu iet vēsturiskais Osetijas kara ceļš pāri Lielā Kaukāza grēdai no Kutaisi uz Vladikaukāzu. 1991. gadā pilsēta stipri cieta Račas zemestrīcē (7,0 balles pēc Rihtera skalas). Pilsētā vēsturiski mitusi nozīmīga Gruzijas ebreju minoritāte. Pēc PSRS sabrukuma lielākā daļa emigrējusi uz Izraēlu, paliekot tikai nelielam skaitam. Viena no Oni sadraudzības pilsētām ir Beerševa.