富士吉田市に入った富士道は、下吉田の辺りで南へと方向を変え、高度を徐々に上げながら富士山へとまっすぐ伸びています。この道は下吉田付近では本町通りと呼ばれ、この通りの東側に絹屋町がありました。
大正末期から昭和初期にかけての下吉田では、宮川電灯会社の操業開始により電力織機の導入が進み、整理会社（織りあげた布をプレスするなどして整え、保管しておく会社）も相次いで成立しました。こうした動きを背景として、機屋や織物問屋が集まってきて、織物の取引を行う絹屋町が成立しました。
絹屋町では、毎月１と６の付く日に市が開かれました。市の日になると、現在の下吉田、上吉田、明見、西桂などで織られた織物が持ち込まれ、東京、名古屋、大阪から訪れた仲買人がそれを仕入れ、大変にぎわっていました。
現在も絹屋町界隈には昔ながらの建物が多く残っており、かつての町の面影を感じることができます。