Pilsēta dibināta Mazās Lietuvas dienvidu daļā 1570. gadā. Iedzīvotāju vairākums bija lietuvieši, pēc Lielās mēra epidēmijas 18. gadsimta sākumā pilsētā ieceļoja iedzīvotāji no Vācijas zemēm.
Pirmā pasaules kara laikā Goldapa bija smagu cīņu arēna un tā gandrīz pilnībā tika nopostīta.
Otrā pasaules kara laikā 1944. gada oktobrī Goldapa bija pirmā Vācijas pilsēta, kuru ieņēma Sarkanā armija. Kad 1944. gada novembrī Vērmahts pilsētu atguva, vācu prese ziņoja par zvēriski nogalinātiem 50 civiliedzīvotājiem, kas veicināja pretošanos PSRS uzbrukumam visā Vācijā.
Pēc Otrā pasaules kara, pamatojoties uz Potsdamas konferences lēmumiem, Goldapu iekļāva Polijā, bet vācu iedzīvotājus padzina no pilsētas.