石和温泉の笛吹川のそば、甲州街道沿いに建つ日蓮宗の寺で、創建は1390（明徳元）年と伝えられています。山号は鵜飼山で、その名が示す通り鵜飼にゆかりがあり、次のような伝説が語り継がれています。
平安時代、殺生を禁じる領主によって禁漁となっていた笛吹川で、鵜飼勘作という老鵜匠が鵜飼を行ったところ、極刑を言い渡され、簀巻きにされ川へ沈められました。その後、勘作の亡霊が、夜な夜な村に現れるようになりました。
1274（文永11）年、全国に法華経を全国に広める旅の途中、通りかかった日蓮上人と弟子がこの亡霊に出会います。日蓮上人は弟子に、法華経の文字一字ずつを河原の小石に書き写させて川底に沈め、三日三晩の供養を営んだところ亡霊は成仏し、この時日蓮が作った塚が遠妙寺の始まりとされています。
この伝説は、室町時代に世阿弥元清が書いた有名な謡曲「鵜飼」の元になったとされ、寺の境内には鵜飼勘作の墓を納めた鵜飼堂や鵜飼天神、勘作の供養塔などがあります。江戸時代の寛政年間に再建された仁王門の、力強い仁王像も見どころの一つです。