武田家灭亡后，德川家康的重臣鸟居元忠成为谷村城的城主后开创的净土宗寺院，受到历代领主的庇护。
供奉在观音堂的圣观世音菩萨，据说是武田信玄的看护人祈祷信玄学问有所成和健康而参拜的佛，每年5月20日开龛。
此外，德川家康在郡内巡视时，故赐给他装有茶叶的常滑烧茶壶，现在作为寺宝被保存至今。
长安寺多次被火灾烧毁，现在的正殿是1725（享保10）年重建的，于1983（昭和53）年修复完成。