光緒21年(公元1895年)甲午戰爭後，臺灣成為日本的新殖民地，當時臺灣總督府有意識地推動神道教與日本佛教來臺發展，因此日本佛教8宗(臨濟宗、曹洞宗、淨土宗、真宗、日蓮宗、法華宗、真言宗、天臺宗)全都來臺創立在臺分支機構與廟宇，尤其是原本即蓬勃發展的臨濟宗與曹洞宗，更是大規模的在臺發展。
臨濟護國禪寺與第4任臺灣總督兒玉源太郎(1852-1906)的關係密不可分。明治31年(公元1898年)，兒玉源太郎接任第4任臺灣總督，因當時臺灣尚處於政治、社會動盪不安的時期，他希望能由宗教的力量來穩定社會，因此上任同時亦邀請他在臨濟宗大學的學長梅山玄秀禪師(1858-1920)來臺佈教弘法。玄秀禪師早年於日本出家，屬於臨濟宗妙心寺派，後又於福建鼓山地區修行多年，當時為大阪府堺市龍興山南宗寺高僧。
玄秀禪師來臺後先暫住劍潭寺，以此為佈教中心。明治33年(公元1900年)兒玉總督為支持玄秀禪師弘揚佛法，協助取得板橋林家在圓山公園西側旁所捐贈的土地，並委由阿部權藏設計﹑臺北的高石群組負責興建。為此兒玉總督更於該年作詩1首〈寄圓山鎮南山〉--「不是人間百尺臺，禪關僅傍碧山開。1聲幽磬何清絕，萬里鎮南呼快哉。」以紀念。整體工程共耗時11年，首先興建圓山精舍，而後建造了庫裡(華藏殿)、山門(鐘樓門)、領守堂、豐川閣、大雄寶殿等大型木造建築，以及其他的附屬設施與建築，全寺占地4,000多坪，十分宏偉開闊。
兒玉總督寄望佛教的宗教力量於殖民統治，特命名「鎮南護國禪寺」，「鎮南」2字意指鎮守日本南方國土之義，而「鎮南護國禪寺」則成為臺灣唯一以「護國」命名的佛寺。
戰後，臨濟護國禪寺由本圓法師擔任主持，然實際上整個廟區卻由空軍防空部隊及其軍眷所佔用，並於寺廟後方架設高射炮，相關宗教活動一度停擺，空軍防空部隊離開後，又因土地所有權的問題，臺北市政府一度欲收回利用，然由於市政府並無土地登記的原始憑證，而寺方擁有兒玉總督所提供之憑證，寺廟才得以繼續保存至今。除了每年舉辦護國息災大法會、萬佛法會、觀音法會等等法會以外，更開辦佛學院，與臺灣及世界各地的僧侶交流。
臨濟護國禪寺屬於佛教禪宗的分支臨濟宗妙心寺派，山號鎮南山，是日本佛教於臺灣宣教的重要場所。寺廟建築設計承襲日本伽藍的格局，在本體建築結構或臺灣佛教發展史上，臨濟護國禪寺都具有高度保存價值。
臨濟護國禪寺的歇山重簷式大雄寶殿為現今臺灣木造寺廟中保存最好的1座；山門則為日本佛寺的典型建築，庭園景觀石板路、石砌臺階、八角塔石臺基、開山始祖墓及門外大砥石都保留原創的形貌，因此被認定為市定古蹟。由於大雄寶殿無檐柱，為能達到深出簷之效果，工匠以密集的木材為檐做兩層伸出以承受出簷之重量，並在隅角做45度放射性之出挑以合乎力學原理，形成明顯而美麗的出簷。除了獨特的出簷結構外，在屋簷右側所懸掛的古鐘，為明治43年(西元1910年)所鑄，其上鏤雕佛菩薩數尊，古樸的設計亦為一大特色。
禪寺正殿中間供奉釋迦牟尼佛，上有「慈悲為懷」匾額1塊，右側供奉的是「觀世音菩薩」，其上有「現壽者相」匾；左側是「地藏王菩薩」其上匾寫著「戒壽並尊」字樣。殿內窗明几淨，氣氛莊嚴。特別的是，大殿基臺的石欄杆，柱石上均刻有日本人的姓名，和臺灣一般寺廟石柱商刻有捐獻者姓名的習俗不同，石欄杆上刻的是往生者的姓名，以祈求神佛的庇護。
大雄寶殿一旁的舊鐘樓山門也相當具有特色，與東和禪寺的鐘樓造型相似，都是臺灣少見的日本江戶時期的寺廟建築風格。山門也採歇山重簷式屋頂，上覆黑瓦、筒瓦及鬼瓦，其中他的筒瓦筒面上與大雄寶殿不同，大雄寶殿筒瓦寫的是個「鎮」字，用以驅邪或鎮風，而鐘樓上的筒瓦則是有著「二字三星紋」，據傳為首任住持玄秀禪師為感念為寺貢獻的兒玉源太郎總督而刻意加上和兒玉家相關的徽紋。
舊山門門口一旁，有個高聳灰白的大砥石，上面書寫著「禪臨濟宗根本道場鎮南山臨濟護國禪寺」，這根石柱有4面，其中3面刻有文字，但另外兩面都被塗抹，隱約可見其中1面寫「施主 臺北在住岐阜縣出身有志者樹之」，可見此柱應為日本人所奉獻。
另外，護國禪寺的後山還有一些古物，沿著石階往上走，途中有1座相傳為日治時期保留至今的托手觀音石像、南無阿彌陀佛石碑、日式地藏王菩薩，然後通往萬靈塔，所奉的就是臨濟護國禪寺的開山祖師得玄秀法師等人。萬靈塔前廣場，更有由當時旅居臺灣的日本信徒共同向日本訂製並送來臺灣安奉的石佛，還有兒玉源太郎在此所立的髮塔，十分具有歷史意義。
萬靈塔，3個石雕由左至右為聯芳塔、得菴秀大和尚墓、開基大觀院殿藤園玄機大居士碑。
禪寺正殿中間供奉釋迦牟尼佛。殿內窗明几淨，氣氛莊嚴。
臨濟護國禪寺的歇山重簷式，以密集的木材為檐做2層伸出以承受出簷之重量，並在隅角做45度放射性之出挑，形成明顯而美麗的出簷。