铁山寺位于铁山区尖林山的西北坡山腰，坐东朝西，群山环抱。铁山寺又名铁山古刹，俗称老君庙。相传铁山寺始建于宋代，明洪武末、清光绪二十一年两次重修。寺高6～7米，一院两进一穿堂，依山势形成三个台阶，土木结构。建筑面积约500平方米，前进左右两壁分别嵌有清光绪二十一年（1896）大冶县补用知县兼大冶铁矿总办李增荣书写的《重修铁山寺》、《火车行》两碑刻；后进为佛堂。