栗原信盛が若くして亡くなった我が子の屋敷跡に菩提を供養するため創建したお寺であると考えられています。
この寺を中心として、周囲には東小路・西小路といった地名が残っており、かつては小規模な城下集落が形成された可能性が示唆されています。
境内には、鎌倉時代後期から南北朝時代にかけての武将である新田義貞の守り本尊と伝えられる滝見観音像や、夜泣き石が祀られています。むかし、この寺は要安寺という漢字でしたが、この石が要安坂という坂から転がってきたため、養安寺に改められたそうです。