『甲陽軍鑑』に、1540（天文9）年2月、信濃の村上義清が3000人以上の軍勢で小荒間に押し寄せ、一帯を焼き払ったため、弱冠20歳の武田晴信（信玄）が旗本を率いて合戦となり、武田軍が勝利を収めたと記されています。この戦の際に地蔵を安置して戦勝祈願したところ軍利があったため、密教の寺を建てたのが創始と言われています。近年の研究では、実際にあった戦ではなかったのではないかと考えられています。
1553（天文22）年の川中島合戦の際、信玄が戦勝祈願をしたとも伝えられています。