Par pilsētas dibināšanas gadu tiek uzskatīts 1678. gads, kad Belgorodas metropolīts Misails no Krievijas cara ieguva īpašumā zemes Graivoronkas upes krastos; šajā vietā uzbūvēja nocietinātu apmetni, ko jau ap 1681. gadu pārvērta par cietoksni tirdzniecības ceļu krustojumā. Apmetne tika attiecināta pie Ohtirkaskazaku pulka. Kopš 1721. gada Krievijas Impērijas sastāvā un kopš 1838. gada apriņķa pilsēta. 1918. gadā īslaicīgi ietilpa Ukrainas Tautas Republikas sastāvā, bet 1919. gadā — Dienvidkrievijas Harkovas apgabala sastāvā.
2023. gadā Graivoronas rajonā notika kaujas starp Krievijas opozīciju, kas karo Ukrainas pusē un Krievijas bruņotajiem spēkiem.