Mūsdienu Vārmes pagasta teritorijā vēsturiski atradās Dūres muiža (Gut Duhren, Dūras), Vārmes muiža (Gut Wormen, Vārme)
1935. gadā Kuldīgas apriņķa Vārmes pagasta platība bija 169 km² un tajā dzīvoja 2289 iedzīvotāji.[4]1945. gadā pagastā izveidoja Vārmas un Imantas ciema padomes, bet pagastu 1949. gadā likvidēja. Kuldīgas rajonaImantas ciemam 1954. gadā pievienoja likvidēto Vārmas ciemu. 1966. gadā Imantas ciemu pārdēvēja par Vārmes ciemu.[5] 1990. gadā ciemu reorganizēja par pagastu. 2009. gadā Vārmes pagastu kā administratīvo teritoriju iekļāva Kuldīgas novadā