光绪21年(公元1895年)甲午战争后，台湾成为日本的新殖民地，当时台湾总督府有意识地推动神道教与日本佛教来台发展，因此日本佛教8宗(临济宗、曹洞宗、净土宗、真宗、日莲宗、法华宗、真言宗、天台宗)全都来台创立在台分支机构与庙宇，尤其是原本即蓬勃发展的临济宗与曹洞宗，更是大规模的在台发展。
临济护国禅寺与第4任台湾总督儿玉源太郎(1852-1906)的关系密不可分。明治31年(公元1898年)，儿玉源太郎接任第4任台湾总督，因当时台湾尚处于政治、社会动荡不安的时期，他希望能由宗教的力量来稳定社会，因此上任同时亦邀请他在临济宗大学的学长梅山玄秀禅师(1858-1920)来台布教弘法。玄秀禅师早年于日本出家，属于临济宗妙心寺派，后又于福建鼓山地区修行多年，当时为大阪府堺市龙兴山南宗寺高僧。
玄秀禅师来台后先暂住剑潭寺，以此为布教中心。明治33年(公元1900年)儿玉总督为支持玄秀禅师弘扬佛法，协助取得板桥林家在圆山公园西侧旁所捐赠的土地，并委由阿部权藏设计﹑台北的高石群组负责兴建。为此儿玉总督更于该年作诗1首〈寄圆山镇南山〉--「不是人间百尺台，禅关仅傍碧山开。1声幽磬何清绝，万里镇南呼快哉。」以纪念。整体工程共耗时11年，首先兴建圆山精舍，而后建造了库里(华藏殿)、山门(钟楼门)、领守堂、丰川阁、大雄宝殿等大型木造建筑，以及其他的附属设施与建筑，全寺占地4,000多坪，十分宏伟开阔。
儿玉总督寄望佛教的宗教力量于殖民统治，特命名「镇南护国禅寺」，「镇南」2字意指镇守日本南方国土之义，而「镇南护国禅寺」则成为台湾唯一以「护国」命名的佛寺。
战后，临济护国禅寺由本圆法师担任主持，然实际上整个庙区却由空军防空部队及其军眷所占用，并于寺庙后方架设高射炮，相关宗教活动一度停摆，空军防空部队离开后，又因土地所有权的问题，台北市政府一度欲收回利用，然由于市政府并无土地登记的原始凭证，而寺方拥有儿玉总督所提供之凭证，寺庙才得以继续保存至今。除了每年举办护国息灾大法会、万佛法会、观音法会等等法会以外，更开办佛学院，与台湾及世界各地的僧侣交流。
临济护国禅寺属于佛教禅宗的分支临济宗妙心寺派，山号镇南山，是日本佛教于台湾宣教的重要场所。寺庙建筑设计承袭日本伽蓝的格局，在本体建筑结构或台湾佛教发展史上，临济护国禅寺都具有高度保存价值。
临济护国禅寺的歇山重檐式大雄宝殿为现今台湾木造寺庙中保存最好的1座；山门则为日本佛寺的典型建筑，庭园景观石板路、石砌台阶、八角塔石台基、开山始祖墓及门外大砥石都保留原创的形貌，因此被认定为市定古迹。由于大雄宝殿无檐柱，为能达到深出檐之效果，工匠以密集的木材为檐做两层伸出以承受出檐之重量，并在隅角做45度放射性之出挑以合乎力学原理，形成明显而美丽的出檐。除了独特的出檐结构外，在屋檐右侧所悬挂的古钟，为明治43年(公元1910年)所铸，其上镂雕佛菩萨数尊，古朴的设计亦为一大特色。
禅寺正殿中间供奉释迦牟尼佛，上有「慈悲为怀」匾额1块，右侧供奉的是「观世音菩萨」，其上有「现寿者相」匾；左侧是「地藏王菩萨」其上匾写着「戒寿并尊」字样。殿内窗明几净，气氛庄严。特别的是，大殿基台的石栏杆，柱石上均刻有日本人的姓名，和台湾一般寺庙石柱商刻有捐献者姓名的习俗不同，石栏杆上刻的是往生者的姓名，以祈求神佛的庇护。
大雄宝殿一旁的旧钟楼山门也相当具有特色，与东和禅寺的钟楼造型相似，都是台湾少见的日本江户时期的寺庙建筑风格。山门也采歇山重檐式屋顶，上覆黑瓦、筒瓦及鬼瓦，其中他的筒瓦筒面上与大雄宝殿不同，大雄宝殿筒瓦写的是个「镇」字，用以驱邪或镇风，而钟楼上的筒瓦则是有着「二字三星纹」，据传为首任住持玄秀禅师为感念为寺贡献的儿玉源太郎总督而刻意加上和儿玉家相关的徽纹。
旧山门门口一旁，有个高耸灰白的大砥石，上面书写着「禅临济宗根本道场镇南山临济护国禅寺」，这根石柱有4面，其中3面刻有文字，但另外两面都被涂抹，隐约可见其中1面写「施主 台北在住岐阜县出身有志者树之」，可见此柱应为日本人所奉献。
另外，护国禅寺的后山还有一些古物，沿着石阶往上走，途中有1座相传为日治时期保留至今的托手观音石像、南无阿弥陀佛石碑、日式地藏王菩萨，然后通往万灵塔，所奉的就是临济护国禅寺的开山祖师得玄秀法师等人。万灵塔前广场，更有由当时旅居台湾的日本信徒共同向日本订制并送来台湾安奉的石佛，还有儿玉源太郎在此所立的发塔，十分具有历史意义。
万灵塔，3个石雕由左至右为联芳塔、得庵秀大和尚墓、开基大观院殿藤园玄机大居士碑。
禅寺正殿中间供奉释迦牟尼佛。殿内窗明几净，气氛庄严。
临济护国禅寺的歇山重檐式，以密集的木材为檐做2层伸出以承受出檐之重量，并在隅角做45度放射性之出挑，形成明显而美丽的出檐。