罗寺本名延祚寺，建于南朝刘宋泰始年间。唐朝时，有个叫灵智禅师的高僧在此主持。灵智禅师号“罗目侯（音hou侯）”。相传他生下来时就双目失明，但却精通经论文字，故时人称其有“天眼”。罗目侯和尚在寺内造了一座砖塔，气度崇宏，为延祚寺增色不少。人们为纪念罗目侯和尚，便将延祚寺改称为“罗寺”。
    宋乾兴元年（1022年），该寺铸造了两座铁塔，寺名又改为“铁塔寺”。宋神宗熙宁年间，赐额“正觉寺”，故又改名为“正觉寺”。王安石曾在寺西办书院，内有轩称“箨龙轩”，遂有《题正觉寺箨龙轩》诗两首。南宋赵构建炎三年，正觉寺法堂西部改为元懿太子的攒宫（停尸处）。清嘉庆年间在这里取土时，曾挖到一个古遂道，打开遂道门，发现有一个深不可测的墓穴。督工者是做过句容县令的郑之濂。他精通史籍，见多识广，知是元懿太子的地宫，遂下令立即停止施工，加以妥善保护。正觉寺废于明，改为虎贲左卫仓。仓内有著名的百丈井，井栏上有保大元年所铸的文字。
    有些人认为，铁塔寺并非建于赵宋时代，而是建于唐代。理由是砖塔上有“尉迟敬德监造”字样，砖塔顶上还有唐代人写的经书。不难看出，这种说法混淆了砖塔和铁塔两个不同的概念。既然铁塔铸于赵宋，铁塔寺之名亦是赵宋时始用，唐时未铸铁塔，何来“铁塔寺”之名呢？至于砖塔建于唐初，并不能证明铁塔为唐时所铸。且据《唐书·尉迟敬德传》，尉迟从未到过金陵，根本谈不上监造之事。之所以有这些字样，原因是尉迟敬德系唐朝开国元勋，凶猛无比，其面目又像凶神恶煞。故唐、宋以来，人们将他视为保护神，以其名义监造屋宇，为的是起镇邪作用，有“吕尚在此，百无禁忌”的味道。故铁塔寺系唐时所建之说，是站不住脚的。