奈良時代の718（養老2）年に当時の名僧、行基が開いた寺です。手にブドウを持った薬師如来が現れ、木像を刻んで開かれたと伝えられます。行基がその後発見し、薬草として育てた木が「甲州ブドウ」となったという伝説が伝えられています。寺では古くから境内でブドウを栽培しており、ワインも醸造することから「ぶどう寺」の名でも親しまれています。
薬師堂（本堂）には左手にブドウを持つ珍しい薬師如来像が祀られ、5年に1度開帳されます（次回は2023年）。この薬師堂は平安時代の1286（弘安9）年に建てられた県内最古の木造建築物で、国宝に指定されています。
また、この寺は武田家最後の当主で、織田信長と徳川家康の連合軍に敗退した武田勝頼親子が、1582（天正10）年3月3日、来世の安穏を祈願して一夜を明かした場所でもあります。
勝頼一族と家臣は天目山を目指しましたが、織田徳川の連合軍に行く手を阻まれ、3月11日に自刃しました。大善寺の理慶尼が勝頼親子を迎え共に祈願し、その様子を記した『理慶尼記』は『武田滅亡記』ともいわれ、大善寺に保管されています。
毎年5月8日には、大蛇に見立てた藤づるを御神木から切り落とし、群衆がお守りとして激しく奪い合う「藤切り祭」が行われ、関東一円の奇祭の一つに数えられます。この祭りは、県の無形民俗文化財に指定されています。