寒山寺山門前，矗立著黃墻照壁，門首懸掛著“古寒山寺”匾額。步入山門，轉過前殿中的佛像屏風，便見一座高大的蓮花寶座上，有兩位袒胸突乳、蓬頭赤足的塑像，一個手捧凈瓶，一個握著蓮花，眉開眼笑，超塵脫俗，這就是寒山和拾得。關于他倆的來歷，眾說紛紜，越傳越神，越說越離奇，他們是怎么來的呢？是誰讓他們變成下凡神仙、轉世菩薩的呢？

有人說，天臺山的老和尚，在荒山野嶺，先后撿了兩個被遺棄的嬰兒，帶回寺中撫養(yǎng)，因不知其父母，故取名“寒山”、“拾得”，意是從荒寒的山野中拾來的兩個孩子。后來他倆刻苦修煉，成為高僧，云游到蘇州，在此住持。

但另一種說法是，寒山本來是一位富家子弟，在父母的督導下勤奮求學，夢想著金榜題名從而走向仕途，可惜由于科舉考試中沒有賄賂主考官而名落孫山。在失意時卻又禍不單行，父母雙雙暴亡，家族中的人貪圖他家的財富，設計陷害他，霸占了他的家產。在這種家亡人散、仕途無著落的情況下，他看破了世態(tài)的炎涼、人心的險惡，于是出家為僧。

為了表明自己對人世間的憤怒和不滿，他將自己打扮得像叫化子一樣，穿著破爛皮襖、破鞋子，戴著樺皮帽子，像乞丐一樣近于瘋癲的模樣，因為衣冠不整，無法在寺廟掛單，只能四處游蕩。他經常到天臺國清寺去游玩，而且認識了拾得和尚，就在他那兒找些剩菜充饑。而拾得是天臺國清寺豐干大禪師在赤誠道中拾回來的，所以叫拾得。

寒山時常幫拾得刷鍋洗碗，這一對天生的活寶貝，很快就成為知己，兩人穿得又破舊，行為又瘋癲，時常賣弄玄虛，頗有靈光，豐干大禪師知此二人慧根非凡，但無法抬舉他們，后來傳說他二人鉆進巖洞，縮身入石穴，終隱于此。后來唐高僧在此建佛寺，稱作“寒山寺”，明成祖永樂三年，深谷旭禪師募建殿室，設寒山、拾得、豐干之像，以茲紀念。