临济护国禅寺是日本江户时代典型佛寺建筑，也是目前臺湾现存日治时期木造建筑中，兴建年代最早代表作。因使用臺湾桧木建造，信众接近大雄宝殿，就能闻到扑鼻桧木香。大雄宝殿为重檐歇山顶式建筑 (日本称之为入母屋造)。大殿基臺的石栏杆柱石上，刻有日本往生者姓名，环绕于大殿，目的为祈求神佛的庇护。大雄宝殿主祀释迦牟尼佛，上方挂「慈悲为怀」匾额；右侧副祀「观世音菩萨」，上方挂「现寿者相」匾额；左侧为「地藏王菩萨」，上方挂「戒寿并尊」匾额，样貌庄严为早期所留下，作者已不可考。
大雄宝殿旁的旧钟楼山门，也是臺湾少见日本江户时期风格的建筑。山门採歇山重簷式屋顶，上复黑瓦、筒瓦及鬼瓦。大雄宝殿筒瓦写的是个「镇」字，意思为驱邪或镇风；而钟楼上的筒瓦则刻有「二字三星纹」，据传为臺湾总督儿玉源太郎的家徽 (日本人称家纹)。
寺前刻有「无住生心」(出自金刚经──应无所住而生其心) 人造砥石，为日治时期大正7年(公元1918年)临济护国禅寺进行扩建工程时无意中发现，经考证为史前人类用来磨石器的用具，昭和10年（公元1935年）台湾总督府将大砥石和其所在的圆山贝塚，指定为史蹟纪念物并加以保护。二次世界大战后大砥石原本下落不明，民国42至43年(公元1953-1954年)间，臺大考古系师生在此发现「圆山文化」及「绳纹陶文化」等两个时期文化层，民国64年(公元1975年)臺北市文献委员会勘察现场，推测立于山门外刻着「无住生心」的巨石，为当年的大砥石，于是在背面镶上「大砥石沿革记略」碑文。
临济禅寺后方石阶沿途有观音石，万灵塔前广场则有日本所谓「四国八十八所石佛」信仰的神像，原有的88尊石佛至今仅存9尊，一旁就是开山祖师庵玄秀老和尚的墓。