巢湖市城区洗耳池畔，原为三贤庙，常年供奉着巢父、许由、樊某（其名失考，待补）三位长期在此隐居的贤人神位。庙前迎一方古池，名洗耳方池，传古贤人许由在此隐居，因不愿为官而洗耳的场所。自明代初年始，清澈的池水波澜不惊，一直倒映着卧牛山下定林寺前大寺塔的塔影。每当夏日夕阳西下时分，塔影横过洗耳池水恰恰落在三贤庙内。鉴于此，明万历丁丑（1557年）年间，巢县知县见早年供奉的三贤庙中香火已呈渐衰之势，而社会上一些因故而削发的女性更苦于无处栖身，遂将此一度冷落的古庙更名为庵，名“塔影庵”，以收容无处栖身的削发之尼。

塔影庵之名缘于大寺塔，但大寺塔始建于何年，其背景何如，正史均疏于记载。然据相关资料显示，此塔之建应于明代初年，即朱元璋面南称帝之后。

史载，朱元璋当年屯兵和州，苦于无舟楫渡江，幸得巢湖廖氏弟兄与俞氏父子组建的水师鼎力相助，始一举横渡长江而奠定大明基业。

常言“功大欺主”，况朱元璋原本用人一向多疑，焉能让这些开国功臣得势。在经过一番册封以示安抚后，便不断寻求借口而大“清君侧”了。其一，朱元璋受到军师刘伯温的蛊惑，生怕人杰地灵且功勋卓著的巢县会“再起祸端”，这便让刘伯温四下散布“佛与民争食”的谣言，并让兵丁将米饭一一塞进王乔洞内大小石佛的口中，百姓为了保命，顾不得大不敬而群起，涌入洞内纷纷挥刀动凿，以致产生王乔洞内“群佛无首”的悲剧。刘伯温后又唆使外乡之人相聚巢县城北，在俞府村周边开挖煤炭，此处煤之所藏甚少，极少开采价值，然此举意在借镐切断地脉，好破坏一方风水，好“让鱼（俞）入井”而让俞氏永无出头之日。其实，朱元璋在册封俞廷玉父子之时已心怀叵测，他有悖“以水养鱼”之常理，执意将万家山下南坡赐给“俞府”， 俞氏父子虽未能讨得水利，却受万家山之“万”而迷惑，以为所赐十分丰厚，当知仅有弹丸之地时，但已无可奈何了。

再者，巢县素有“五牛三龟出公侯”之说，他们更畏惧城中“一卧长达数千年”的这头神牛，担心卧牛一旦惊醒之后，难免会奋蹄不息而闹得地覆天翻，这才看准了地形，选准在牛头处位置，即定林寺前（原巢湖一中老大门口）破土动工，平地而建砖石结构的七层高塔，并镇以舍利子等，将此作为羁绊神牛的牛桩，让牛死死困守于一方。只因此塔在定林寺前，人多习惯称之为大寺塔或大寺锥子。

惜此塔经历了近600年的风雨，终于上世纪五十年代，因1954年特大洪水困城数月，致使塔身逐渐向东南方倾斜。是时，大寺塔已围进巢县中学（即巢湖一中前身）校园之内，即原先老大门门口的北侧。校园内因有高塔，自然更具有吸引力，当时，常有社会青年或学生不听警告与劝阻，不时擅自登上高塔嬉戏，其间还出现过一人失足坠塔而亡的惨痛教训。鉴于塔体倾斜与坠塔惨剧，当时县领导经研究决定，才将大寺塔作整体拆除。

塔虽已被拆除，但塔影庵之名依旧。1978年以后，为落实党的宗教政策，经省相关部门批准，塔影庵获准重新扩建，并在原有基础上，陆续建成了天王殿、大雄宝殿、藏经楼，总体共3进，计44间，占地面积达1530平方米。1984年12月，塔影庵已被列为省重点开放寺庙。其后，在新城扩建中，洗耳池经疏浚拓展，再增设亭榭回廊众多景点，而成市民休憩的公园，为市容市貌再增几分秀色，且庵与池两两为邻更相得益彰，更为巢城添一份亮丽色彩。