谷村第一小學和都留市政府所在處是谷村城的遺址。
1633（寬永10）年，原本為德川家康助手的秋元氏從上州總社（群馬縣前橋市）轉封為谷村藩，治理郡內領全域。作為藩主，開始著手整備谷村的城下町。時至今日仍可看到谷村城內殘留下來的舊時土地劃分規畫。此外，當時谷村城作為藩主的宅邸、勝山城則作為谷村城的要塞使用。

一直到1704（寶永元）年的70年間，秋元氏歷經泰朝、富朝、喬知三代，作為谷村藩主治理郡內。其後的1704（寶永元）年，秋元氏遷至武藏國川越（埼玉縣川越市），郡內則成為江戸幕府的直轄地（天領）。