胜山城遗址是耸立在桂川背后的山城。据江户时代的地方志《甲斐国志》记载，此城于1594（文禄3）年由郡内领主浅野氏重修建而成。最近的研究认为，它是战国时代的郡内领主小山田氏将府邸迁至谷村时，作为防守要塞之城修筑的。小山田氏之后，从战国时代到江户时代历经鸟居氏、三轮氏、浅野氏、鸟居氏、秋元氏多位领主的统治。
江户时代，献给将军家的宇治茶途经中山道～甲州街道～谷村路（富士道），会临时保存在胜山城的茶库里，所以富士道也被称为“茶壶路”、“茶付路”。
从胜山城遗址上可以眺望都留市的市区和富士山全景，景色怡人。