1949年に霊光寺の再建が行われた際、当時は交通が不便で、住民の生活は困難を極めていました。建材を運搬するための広い道もなかったため、信徒は現地で石材を調達し、石の表面の模様をよく観察した上で、当時どの家庭にもあった石切り道具を使って一つ一つ手作業で必要な大きさに切断し、それを積み重ねて仏寺の基礎と壁堵を築き上げました。そのため、今も石材一つ一つに当時の斧やノミの跡が残されています。非常に強固な造りで、921大地震の際も全くの無傷でした。
1999年に発生した921大地震の際、震源から近かった霊光寺後方の崁斗山の山頂から霊光寺に向かって巨石が落下してきましたが、正殿後方の龍眼の木と山石に守られ、霊光寺に被害はありませんでした。その後、この巨石の平らな面には「佛」の字が刻まれ、説明の碑文も設置されて、今では霊光寺の景観の一つとなっています。
南投県国姓郷大石村の最高峰である崁斗山を背にする霊光寺からは山々の絶景を見渡すことができます。海抜約800メートルの山林にあることから、夏は涼しく、心地いい風が吹きつけます。交通手段が十分に整っていないため、修行や参拝に訪れる人も多くなく、敷地内は静けさに包まれています。崁斗山の後方には921大地震の震源となった九份二山があります。