Ērģemes novads pirmoreiz rakstos minēts 14. gadsimta sākumā (1323. gadā), kad Ērģemes pilī notika Livonijas ordeņa vadības sanāksme par to, vai slēgt mieru ar Lietuvas Dižkunigaitiju.[4]
Ērģemes tuvumā ir notikušas divas lielas vēsturiskas kaujas, kurās lielā mērā izšķīrās vēlākais Latvijas liktenis: 1560. gada 2. augusta Ērģemes kauja starp Livonijas konfederācijas karaspēku un Vidzemē iebrukušo Krievijas caristes karaspēku un 1702. gada 18. jūlija Kauja pie OmuļiemLielā Ziemeļu kara laikā starp krievu dragūnu pulkiem Šeremetjeva vadībā (ap 12 000 karavīru) un Volmāra fon Šlipenbaha komandēto zviedru karaspēka vienību (ap 2000 vīru). Zviedri cieta smagu sakāvi, ļaujot krieviem ieņemt Ziemeļvidzemi un gandrīz visu Igauniju.
1919. gada oktobra sarunās par militārās palīdzības sniegšanu pret Bermonta armijas uzbrukumu Rīgai Igaunijas valdība ierosināja Ērģemes pagasta iekļaušanu Igaunijas teritorijā, kam Latvijas valdība nepiekrita. Pēc Latvijas—Igaunijas robežas līguma parakstīšanas pagasts palika Latvijas teritorijā.
1935. gadā Valkas apriņķa Ērģemes pagasta platība bija 124,4 km² un tajā dzīvoja 1709 iedzīvotāji.[5] 1945. gadā pagastā izveidoja Ērģemes un Brentuciema padomes, bet pagastu 1949. gadā likvidēja. Valkas rajonaĒrģemes ciemam 1954. gadā pievienoja likvidētos Brentu un Omuļu ciemus, 1960. gadā padomju saimniecības «Smertes» teritoriju pievienoja Kārķu ciemam, 1979. gadā pievienoja daļu Kārķu ciema teritorijas, 1981. gadā daļu teritorijas pievienoja Naukšēnu ciemam.[6] 1990. gadā ciemu reorganizēja par pagastu. 2009. gadā Ērģemes pagastu kā administratīvo teritoriju iekļāva Valkas novadā.