創建は平安時代末期の久安年間（1145‐1150年）、1577（天正5）年に再建された神社で、鎌倉時代にこの地域を治めていた古郡氏の神社だったとされています。拝殿にかかっている「古郡神社」という額が、当時の名残りを伝えています。
また、この神社は、新田次郎の小説『風林火山』に登場します。小田原攻めと三増峠の戦いを終えた武田軍が、甲府に戻る途中で上野原近辺に宿営する場面です。氷雨が降る中で、傷ついた兵たちがこの神社の建物の一部を壊して燃やし、暖を取った様子が描かれています。