龙潭、柘树是潭柘寺赖以成名的主要因素，无论是晋代地方最高长官王浚所起的寺名“嘉福寺”，还是唐代开山祖师华严禅师命名的“龙泉寺”，或金熙宗完颜亶御赐的“大万寿寺”，还是康熙帝钦命的敕建“岫云禅寺”，甚至民间传说“毯遮寺”“竹林寺”“潭竹寺”等都没有当地人们俗称的“潭柘寺”叫得响亮，使用得久远，时至今日还仍在沿用。
　　潭柘寺的柘树是我国十大稀有珍贵名木之一，它是南方植物，适宜在南方环境生长，在北方生存并长势茂盛实属罕见。柘树是怎么由南方移植到北方的呢？据说是明朝永乐年间，皇帝朱棣的军师姚广孝，从北京皇宫中移植来的。一天，朱棣问：“少师，皇宫将要竣工，你帮我看看，还有需要改动的吗？”姚广孝回答：“好。”，次日，少师一大早起床，亲自步行到皇宫，转了好一阵子，回来就直奔皇帝住所说：“皇宫我看了，大都很好。但美中不足的是皇宫前朝部分的三大殿（太和殿、中和殿、保和殿）院内周边的树木影响朝庭的风水，遮阴面积太多，阴气太重，阳气不足，而且有碍殿宇的庄严，我建议应大部分或全部移走。这样，能独一无二的显现出皇宫与其它建筑群的区别，也更能体现它的宏伟、庄重和威严，还有利于皇宫的安全防卫。”朱棣听后，稍加思索说：“此事就由你办吧。”“遵旨。”少师说。其中，这些被移走的树木中，有河南柘城县进贡给朝廷的名贵树木柘树。为此，少师就选取了部分柘树运到了潭柘寺，由时任住持日本僧人无初德始律师负责安排人员，栽植在潭柘山麓及少师静室四周。几年后，寺院周围的柘树就逐渐长成了随处可见的一道道柘树屏嶂，故《潭柘寺记》中有“寺院周围柘树千嶂，景色宜人”的记载。众人皆知，姚少师懂阴阳八卦，知纵横捭阖，晓天文地理，是朱棣皇帝的高参和军师。所以，人们对他早以从内心佩服的五体投地。又因，他是南方人说：“柘树，柘树”，当地人听着像是“这福，这福”,原本民间就喜欢用“柘（这）树（福）”的谐音，众人认为少师在寺院及静室周边栽植柘树，就是栽植“这福”。其实，柘树生长缓慢，木质坚硬光滑，纹路清晰，色泽金黄，贵如黄金，被世人称为帝王木，与寺院的帝王树齐名，有南檀北柘之说法。古时，只有皇宫贵族才能种植柘树，使用柘木，平民不用说是使用，就是看一看，也是很困难的事。所以，潭柘寺不但有柘树而且还是层峦叠嶂，这本身就是一种神圣与地位的象征。
　　清朝康熙皇帝为寺院新建牌楼，并题有“翠嶂丹泉”“香林净土”之题词。与此同时，还专门在院外东侧的一块台基上新建了一座院落，为护院武僧提供习武场所，同时，也是朝廷与外界切磋武艺的演练场所。一次，康熙帝带着十几个青年侍从来寺院进香礼佛，时任住持震寰律师亲自带众僧出寺列队迎驾，老远康熙帝就：“大师好，大师好”的呼唤着，震寰律师等众僧异口同声的说：“阿弥陀佛，阿弥陀佛”的应答着。随从大臣按部就班的留在了寺院界凡桥前的东、西朝房设案办公。其余人等随同前往，过界凡桥，经山门，拜天王殿弥勒佛、大雄宝殿佛祖后到万岁行宫休息。待其他人安排离去后，康熙帝小声对震寰律师说：“大师，时下鳌拜十分跋扈，必须帮我铲除他！”“您有对策了吗？”大师也细声的问。“我想，把我带来的这些侍从留下几位，请您帮我，寻找一位德高望重、武艺高强的武林高手，教他们习武，练习对弈，为剪除权臣做准备。”“遵旨”大师思索片刻后爽快的答应了。经过近两年的辛苦练习，终于在康熙八年（1669年）五月，由潭柘寺训练出来的武士将鳌拜一举擒获。此举后，康熙帝更加信赖、器重潭柘寺了。
　　休息了几天后的武林师傅要离开寺院。临别时，震寰律师双手合十的很虔诚的对师傅说：“阿弥陀佛，师傅辛苦了，老衲吃斋化缘，身无别物，只有本寺自产的柘木一段，赠予你。”随后便让执事僧把早已准备好的一段柘木，传送师傅，作为对师傅的馈赠礼物，以结善缘。师傅接过赠物，随身鞠了三个深躬，并随口道：“谢谢。”便离开了。
　　几年后的一天，僧录司在法源寺举办清朝境域内的佛门大会，时任潭柘寺第二任住持止安律师带着僧徒前去赴会。止安律师穿着用柘蚕丝的面料和柘木染色的僧衣进入会场，顿时引起了一阵掌声。因为，止安律师的僧衣与众不同，显得十分光泽亮丽，雍容华贵，赢得了佛门僧侣们的仰慕之至。甚至，发展到某一时期皇宫所使用的黄色，也是采用柘木为原料染色的。
　　由于种种原因，近年来寺院周边的柘树几乎荡然无存，但是，可喜可贺的是，寺院即将恢复惜日“柘树千嶂”景观，重新在寺院周边种植“柘树园”，这对恢复寺院整体布局和历史原貌，实践“绿水青山就是金山银山”的生态理念，传承古刹柘树文化，是十分难得而又非常增胜添荣的事，将在寺院的发展史上万古流芳，永惠后人。