Pitrags vēstures dokumentos pirmo reizi minēts 1582. gadā. Šai sarakstā ir tikai 4 sētas. Stāsta, ka reiz tur ieradušies četri brāļi sāmsalieši un uzcēluši mājas: Kurg (Dzērves), Tōriz (Sumbri), Sīm (Sīmi) un​ Jōk (Jāki). Tikai vēlāk ieradušies citi un apmetušies uz dzīvi. Minētās sētas ir uzskatāmas par Pitraga vecākajām. Arī dokumenti liecina, ka vairākās ciema sētās dzīvojuši sāmsalieši. 1826. gada dvēseļu revīzijas dokumentā, minētas vienpadsmit sētas ar 190 iedzīvotājiem.

Pitrags ir samērā kompakts ciems, kurā 1937. gadā bija 12 vecsaimniecības un 38 zvejnieku saimniecības (galvenokārt jaunsaimniecības). Pēc Otrā pasaules kara ciemā uzskaitītas 48 sētas.

Pitraga jūrmalā redzamas mola paliekas. Mols būvēts 1938. gadā jūras mēslu savākšanai un jūrmalnieku liesās zemes uzlabošanai. Zemkopības ministrija izlēmusi par šādu molu būvi lielā valsts plānojumā – par Ventspils novada saimniecību uzlabošanu.

Pitraga sēkļos guļ daudz nogrimušu kuģu, bet jūras krastā pēc vētrām var atrast senu kuģu paliekas.

Pitraga centrā atrodas 1902. gadā celtais baptistu lūgšanu nams, kurš celts par draudzes locekļa kapteiņa Damberga personīgajiem līdzekļiem. Pirmajā pasaules karā tas izdedzis, 1925. gadā atjaunots, bet 20. gadsimta beigās remontēts.