聳立於桂川後的山城。據江戶時代地誌《甲斐國志》記載，1594（文祿3）年由郡內領主淺野氏重所建。但根據最近的研究，雖認為是戰國時代的郡內領主小山田氏將宅邸移往谷村時作為要塞所建。
小山田氏後有鳥居氏、三輪氏、淺野氏、鳥居氏、秋元氏等，從戰國時代到江戶時代歷經不同領主統治。
江戶時代，上獻至將軍家的宇治茶，經中山道〜甲州街道〜谷村路（富士道），會短暫保存在勝山城的茶廠內，所以富士道也被稱為「茶壺路」「茶路」。
從勝山城遺跡眺望都留市區和富士山的全景非常壯觀。