赤芝集落の名の由来には諸説ありますが、『甲斐国志』によると、武田信昌と跡部景家が雌雄を決した夕狩沢の戦いの後、跡部氏が小田野城へと敗走した際の乱戦によって流れた血が芝を染めたことに由来すると伝わっています。
戦国時代には『甲陽日記』に「府中の新屋敷」造営に携わったとみられる「西保衆」が登場するほか、古府中躑躅が崎の武田館に通じる「西保街道」と呼ばれた秩父往還の裏街道上に位置し、関所跡「鍵懸関跡」が集落内に残っています。西には御岳、東には金峰山と結ばれ、山岳信仰との関わりが深い地域でもあります。
また、江戸時代の茅葺民家から近代の瓦葺民家まで、複数の伝統的建築が混在する景観が特徴的な集落です。なかでも明治時代以降に成立した、越屋根（屋根の一部を上に持ち上げ、小さな屋根を付けた形式）を持つ三階建の瓦葺民家が集中して残っており、特徴的な景観を作り出しています。越屋根を持つ茅葺民家は、養蚕が盛んであった頃の家屋形態を今に伝えています。