康熙游览灵谷寺时亲笔题书“灵谷禅林”匾额
明代的灵谷寺规模甚大,占地五百亩,其范围南抵孝陵卫,北接明孝陵皇墙,共有寺僧一千多名。寺内的主要建筑有金刚殿、天王殿、无量殿、五方殿、大法堂(清代称毗卢殿)、律堂(清代叫观音殿)、宝公塔等。寺内还有148条画廊,绘有各种神形兼备的佛像、壁画。
寺前有“放生池”,植荷。因凿放生池时,动用了万名役夫,所以又称“万工池”。寺石为钟楼,左为大宝法王殿,是明成祖为西藏活佛哈立麻所建。哈立麻曾在此建斋讲经,追荐高皇帝,所以又称“说法台”。说法台下有街,街下埋设空坛,人行其上或双手交拍声奏弦,山谷皆应,俗称“琵琶街”。后台有八功德水,以竹为笕引入寺,称之为“竹递泉”。寺后有宝公塔,高五级,是志公藏骨之所。
清初,灵谷寺遭严重破坏,除无量殿、宝公塔外,其余殿宇尽毁。康乾时期,灵谷寺重新修复,又成为东南名刹。康熙游览灵谷寺时亲笔题书“灵谷禅林”匾额,还写下一幅“天香飘广殿;山气宿空廊”的对联。乾隆六下江南,六到灵谷寺,并赐物、赋诗。可惜清咸丰、同治年间,钟山成了太平军和清军交锋的战场,灵谷寺只留下无量殿,其余全部焚毁。同治六年(1867年),曾国藩在无量殿东侧建造龙神庙