據地方誌《北都留郡誌》記載，西光寺東門附近曾有一個深約3m的池塘。相傳為一位僱傭於「惠比壽屋」旅店的女傭小玉來到這個池塘，將其下半身浸入水中。受到客棧老闆娘斥責後，小玉辭掉客棧的工作並將桶子丟在地上轉身離去。之後就有清水從那裡湧出，因此後來被稱為「玉之池」。
原來這位玉子是附近確實存在的「長峰之池」之主龍神。由於中央道路的建設，長峰之池消失，玉之池現在的水也乾涸，只剩「玉井」石碑留在此地。