据《厦门志》记载：明万历年间，有一名士池显方在玉屏山建“玉屏寺”，他在自撰的《虎溪岩记》文中谓：“乙卯冬，余寻幽至此，欣赏奇观，因建刹，名玉屏，左为大雄阁，棱层洞，夹天径，后为石寺，上为飞鲸石，右为六通洞，宛在洞。”建成后，池显方即迎请僧人主持，并整日与僧人学禅论道。或于三五夜月，邀请文人雅士对月吟唱为乐，乃有“虎溪夜月”胜景之雅称。又仿庐山虎溪三笑故事以自比，别称虎溪岩为“东林禅寺”。后于明末清初之际，玉屏山毁于厦门战乱，至清代康熙年，元飞和尚应福建水师提督吴英之请来厦门主持该寺，并大兴土木，重建大雄宝殿，增建垂云楼、大悲殿、一啸亭、伏虎洞。经三十多年苦心经营，才颇具规模。

    虎溪岩满山皆巨石，尽皆奇险天成。山门旁有一巨石如芽，其上镌刻"先露一芽"。入得山门，顺着蹬道，有"渐入佳境"、"三笑"等题刻，使人游兴倍增。蹬道尽处就是"虎溪"，虎溪上架着弓形石桥，俗称"仙人桥"，亦称"渡虎桥"。过了弓形桥，来到"灵则名"洞，洞名取意唐刘禹锡《陋室铭》中的"山不在高，有仙则名，水不在深，有龙则灵"之句。洞里甚凉，使人有"入洞方知六月寒"之感。