谷村第一小学校と都留市役所のある場所が谷村城の跡地です。
1633（寛永10）年、もとは徳川家康の側近だった秋元氏が、上州惣社（群馬県前橋市）から郡内領全域を管轄する谷村藩へ転封。藩主として谷村の城下町の整備を進めました。現在も谷村のまちなかには、当時の町割りが残っています。
山城である勝山城は政治を行うのに不便なため、町の近くに新たに築城したと考えられていますが、秋元氏より前の小山田氏の時代から、同じ場所に館があったともいわれています。谷村城は藩主の居館、勝山城は要塞として使われました。
秋元氏は1704（宝永元）年までの70年間、泰朝・富朝・喬知の三代にわたって谷村藩主として郡内を治めました。その後、1704（宝永元）年に秋元氏が武蔵国川越（埼玉県川越市）に移ってからは、郡内は江戸幕府の直轄地（天領）となりました。