谷村第一小学和都留市政府所在地就是谷村城的遗址。
1633（宽永10）年，原为德川家康近臣的秋元氏，从上州惣社（群马县前桥市）转封到管辖郡内所有领地的谷村藩。作为藩主他推进了谷村的城下町的建设。现在谷村的街道还留有当时的城镇区划痕迹。此外，谷村城曾是藩主的宅邸，胜山城则是谷村城的要塞。
到1704（宝永元）年为止的70年间，秋元氏的泰朝、富朝、乔知三代作为谷村藩主治理郡内。其后，1704（宝永元）年秋元氏迁至武藏国川越（埼玉县川越市）后，郡内变成江户幕府的直辖地（将军领地）。