臨濟護國禪寺是日本江戶時代典型佛寺建築，也是目前臺灣現存日治時期木造建築中，興建年代最早代表作。因使用臺灣檜木建造，信眾接近大雄寶殿，就能聞到撲鼻檜木香。大雄寶殿為重檐歇山頂式建築 (日本稱之為入母屋造)。大殿台基的石欄杆柱石上，刻有日本往生者姓名，環繞於大殿，目的為祈求神佛的庇護。大雄寶殿主祀釋迦牟尼佛，上方掛「慈悲為懷」匾額；右側副祀「觀世音菩薩」，上方掛「現壽者相」匾額；左側為「地藏王菩薩」，上方掛「戒壽並尊」匾額，樣貌莊嚴為早期所留下，作者已不可考。
大雄寶殿旁的舊鐘樓山門，也是臺灣少見日本江戶時期風格的建築。山門採歇山重簷式屋頂，上覆黑瓦、筒瓦及鬼瓦。大雄寶殿筒瓦寫的是個「鎮」字，意思為驅邪或鎮風；而鐘樓上的筒瓦則刻有「二字三星紋」，據傳為臺灣總督兒玉源太郎的家徽 (日本人稱家紋)。
寺前刻有「無住生心」(出自金剛經──應無所住而生其心) 人造砥石，為日治時期大正7年(公元1918年)臨濟護國禪寺進行擴建工程時無意中發現，經考證為史前人類用來磨石器的用具，昭和10年（公元1935年）台灣總督府將大砥石和其所在的圓山貝塚，指定為史蹟紀念物並加以保護。二次世界大戰後大砥石原本下落不明，民國42至43年(公元1953-1954年)間，臺大考古系師生在此發現「圓山文化」及「繩紋陶文化」等兩個時期文化層，民國64年(公元1975年)臺北市文獻委員會勘察現場，推測立於山門外刻著「無住生心」的巨石，為當年的大砥石，於是在背面鑲上「大砥石沿革記略」碑文。
臨濟禪寺後方石階沿途有觀音石，萬靈塔前廣場則有日本所謂「四國八十八所石佛」信仰的神像，原有的88尊石佛至今僅存9尊，一旁就是開山祖師庵玄秀老和尚的墓。