もともとは単進両護龍(コの字型)の三合院建築の寺院でしたが、後に増築に伴い単進四護龍形式となりました。東西の廂房には日本式の石灯籠があり、右側は昭和期に建てられたものです。大殿は伝統的な閩南様式で、装飾の手法や棟木と梁の構造には高い芸術的価値があります。正房と両側の護龍が三合院形式を形成し、全てほぞで接合されており、中国式木造建築独特の美しさを見せています。;
正殿前の供物台は台湾の著名な木彫芸術家・黄亀理(1903～1995)が彫刻を施した希少な作品です。一本のツゲノキに立体的な彫刻が施されており、正面部分は唐の「唐明皇夜遊広寒宮」の物語を題材としたもので、人物が繊細な彫刻によって生き生きと表現され、齋明寺の重要な古美術品の一つと なっています。
1866年頃に建てられた桃園市に現存する最古の作品です。付近の砂岩を材料に彫刻を施したもので、積み上げられた石で出来た本体は3つの層に分かれています。一番上の層は祭祀用で、最頂部はひょうたん型をしており、漢字を発明した蒼頡の位牌が祀られ、一番上と中央の層には対聯が施されています。中央の層では文字の書かれた紙を燃やし、一番下の層は通気と文字の書かれた紙の収蔵を行うためのものです。均整のとれた構造で、完全な状態で保存されており、貴重な文化遺産として認められています。
『磧砂蔵経』は正式名称を『宋磧砂延聖寺刻本蔵経』といい、宋元時代に聖尼が3代にわたって自らの腕を切り落とすことで同情を集めながら托鉢を行い、91年の歳月をかけて完成させた木版本です。仏教の経典を集めたものとして世界的に知られており、中国蘇州の磧砂延聖寺で彫刻が開始されたことからその名が付けられました。『磧砂蔵経』の彫刻・刻印作業は宋と元の2つの時代にわたる93年間にもおよび、仏教典籍1532部、6362巻を収録しています。この歴史ある大蔵経は1931年に上海の「影印宋版蔵経会」によって500組が模写されており、それが出版されると、当時齋明寺の住職を務めていた江普乾(生没年不詳)が中国から1組を持ち帰り、台湾仏教界が古代中国の蔵経を保有する発端となりました。
大東亜戦争の時代、日本は皇民化運動を推進し、台湾の固有宗教の排除を計画していましたが、齋明寺は曹洞宗の寺院だったことから、日本の越前永平寺を宗主とすることで接収と取り壊しを免れました。仏像の左側には日本曹洞宗福井県永平寺の寺紋(別名久我竜胆紋)、右側には日本曹洞宗横浜市總持寺の寺紋(別名五七桐紋)があり、日本統治時代における台湾の歴史を証明しています。
法鼓山の宗風に合わせるために増築された禅堂、寮舎、齋堂は新旧を融合させた「引き算」の建築です。設計士の孫徳鴻が「修行」をコンセプトに、造形、高さ、色使いといった設計に関する既存の概念を出来る限り取り去り、外壁に打ち放しコンクリートを使用することで宗教建築としての静寂を表現すると同時に素朴な外見を保ち、その傑出した建築様式で2012年台湾建築賞大賞を受賞しています。