佛堂是义乌历史悠久的名镇。1931年杭江铁路通车前，佛堂镇凭借义乌江水运优势成为本地经济、交通中心，有“小兰溪”的美誉。

　　建国前，义乌江是义乌东、西、南各乡的水运要道。上溯可达东阳的巍山，下行可达金华、兰溪、杭州、衢县、常山，直至安徽屯溪。可通竹筏和3至5吨的木帆船。佛堂镇是当时主要的水运码头，因而带来了航运业、商业、服务业的繁荣。《（嘉庆）义乌县志》中，记述佛堂的条目有6条之多。如佛堂镇、佛堂市、佛堂街、佛堂埠、上佛堂、下佛堂等。在佛堂镇条目下，有“南负云黄（山）、北临大溪（江），跨以浮梁（桥），船只泊岸如蚁附攠的记载。清乾隆时义乌知县杨春畅在《万善桥记》中写佛堂镇是”四方辐辏，服贾牵车，交通邻邑攠。足见佛堂镇在220多年前已负有盛名。

　　佛堂镇的来历，有着神奇的传说。据《傅大士文集*嵩头陀传》和《（嘉庆）义乌县志》记载，相传在南北朝时，天竺国有位嵩头陀，名字叫达摩的，在南朝梁代武帝天监年间（公元502-519年）到了乌伤，居住在香山的岩谷丛林中。后来，达摩云游到松峭山，与梁朝侍郎乌伤人楼偃相遇，两人志趣相近，谈得很投机，达摩就邀请楼偃次年回乌伤募建香山寺，楼偃欣然应允。寺建成后，达摩就成了寺中的方丈。梁代普通二年（公元 521年）3月14日，达摩到附近村庄参加斋会，斋会结束后，达摩就不肯回寺，众人苦苦相留，达摩说：贫僧缘会而来，缘尽而去。攠众人见达摩去意已决，只得挥泪送别。达摩向南而去，到了金山。当时，由于连日暴雨，江水猛涨，有的堤岸已冲开缺口，洪水无情地淹没了田野，地势低洼的村庄也浸在水中，村民有的爬在屋顶，有的爬在树上，有的已被洪水冲走，在水中挣扎，情况十分危急。江上虽有几只木船，面对惊涛骇浪，都泊在堤岸边，畏缩不前。达摩是一位高僧，神通广大，面对此情此景，口念咒语，把随身携带的铁鱼磬（一种用铁制成，形如鱼的法器）抛入空中，只见铁鱼磬放出万道光芒，变成一只木船飘入江中。达摩又伸手一指，木船就向被洪水围困的百姓快速驶去，船在汹涌的波涛中，迂回曲折，直至把所有受难的百姓全部救起送到堤岸上，达摩托车才收回铁鱼磬，并把一把雨伞放在水上，自己坐在伞上飘流过江，到稽亭塘点化傅翕（即后来的傅大士）去了。

　　为了感谢达摩救人的大恩大德，老百姓建了一座渡磬寺，供人们顶礼膜拜。寺中有一楹联：“佛光透彩传万代，堂烛生辉照四方”。人们就以上下联的第一字，取地名为“佛堂”，而渡磬寺又称古佛堂。

　　佛堂人民十分珍惜这座古寺，几经修缮，几经重建，渡磬寺至今仍完好保留在镇西。