奈良時代の高僧、行基が開いた寺院といわれています。境内の巨石から泉が湧き出ていたことから石水寺と呼ばれていましたが、のちに積翠寺に名前が変わりました。
1521（大永元）年に武田信虎夫人が戦火を逃れるため、避難したこの寺院で武田信玄を産んだとされています。境内には産湯の井戸や産湯天神などが残っており、本堂左手の不動堂には不動尊とともに武田信玄の像が祀られています。1546（天文15）年7月、信玄はこの寺院で和漢連句の会を開き、その記録が残されています。