奈良时代的722（养老6）年，行基作为开山鼻祖创建的古寺。1370（应安3）年足利义满之子观道上人入山时，命甲斐国守护将军武田信成建造伽蓝，将大藏经（佛教圣典的总集）供奉在五重塔上，寺名由此而来。从那时起此寺变成武田家的祈愿寺，现在也收藏着武田家的守护佛“将军地藏”。
至江户时代被德川家复兴，德川家康的念持佛（贴身放置的佛像）“三面大黑天”和“权现堂厨子”至今仍保存在寺内。据说因为此寺位于甲府城的忌避方向，甲府城代官每月17日都会来此参拜祈愿武运长久。
1516（永正13）年，武田信虎和骏河军争斗的“万力合战”开始，此寺创建以来多次遭受火灾，现在的伽蓝是从天保至安政年间重建的。寺内收藏有许多文化财产，其中观道上人收藏的佛教绘画等4件是山梨县的文化财产，室町时代绘制的“绢本著色涅槃图”被指定为日本的国家重要文化财产（均不公开）。
寺庙的背后伫立的大藏经寺山是山梨百大名山之一，此寺因此得名。寺院内有座物部神社，其背后有登山道的入口。