靈光寺民國38年(公元1949年)重建時，因交通不便，且居民生活環境艱辛財力窘迫，又無寬廣道路可運送建材，因此信眾就地取石材，利用早期家家都有的打石工具，用最原始一槌一鑿純手工，先觀察石塊的紋理，再著手分解，將當地岩石直接打鑿成大小所需的尺寸，堆疊成牆堵，作為佛寺的地基和牆堵，每一個石塊上面，都還留有當年民眾斧鑿的痕跡。由於石屋非常堅固，歷經臺灣921大地震仍毫髮無傷。
民國88年(公元1999年)臺灣發生921大地震，震央附近的靈光寺後方崁斗山頂，直接掉落一顆大石頭往靈光寺直衝而下，被佛寺正殿後方的龍眼樹和山石擋住，沒有直衝廟殿造成毀損，後來，這顆大石平整面刻上「佛」字，並設置說明牌，成為靈光寺景觀之一。
靈光寺背倚南投縣國姓鄉大石村最高峰的崁斗山，前可眺望遠山視野極佳，因地處海拔約800公尺的山林中，夏日涼風徐徐十分舒爽，因交通出入動線並非十分方便，來此修行、參訪者不多，讓佛寺更顯靜謐之姿。崁斗山後方的九份二山，就是著名的臺灣921大地震震央位置。