Pitrags ir sens līvu ciems, kas vēstures avotos pirmo reizi minēts 1582. gadā.[3] Pēc leģendas, Pitragu dibinājuši četri brāļi sāmsalieši, kuru būvētās mājas ir vecākās sētas ciemā. 19. gadsimta divdesmitajos gados Pitragā bija 11 sētas, bet vēl gadsimtu vēlāk – 12 vecsaimniecības un 38 zvejnieku saimniecības. 19. gadsimta vidū Pitragā atvērts krogs, 1902. gadā — baptistu lūgšanu nams.[4] Iespējams, ka Pitraga nosaukums ir cēlies no lībiskā salikteņa "põddõr" – "briedis", un "aiga" – "mala", "krasts".[nepieciešama atsauce]
19. – 20. gs. Pitrags bija pazīstams kā nozīmīgs laivu un kuģu būvniecības centrs, kas būtiski veicināja ne tikai ciema, bet arī visas piekrastes sociāli — ekonomisko attīstību. Jūras dibenā iepretim Pitragam atrodas nogrimuši kuģi un laivas, kuru atliekas dažreiz tiek izskalotas pēc lielām vētrām. Pitraga liedagā un cik vien tālu skats sniedzas abos virzienos, nekas vairs neliecina ne par kuģniecības manufaktūru, ne par piekrastes saimniecisko dzīvi.