磺溪書院又稱文昌廟，是一間結合學堂與廟宇的閩南式四合院建築。殿內供奉五尊神明︰文昌帝君、孚佑帝君、文衡帝君、朱衣星君、魁斗星君，合稱為「五文昌」，是古時科舉時代掌管所有考試的神明。
拜殿是磺溪書院深具特色的建築，為八柱歇山屋頂之設計，佇立在築高的方形月臺上，外角四柱為花崗石石柱，以防風雨侵蝕，內側四柱為本柱，與大木結構接續。屋頂脊飾精美、剪黏圖象生動，是拜殿的主要特點。拜殿前為寬廣的中庭，鋪面為少見的瓦質拼花地磚，中央鋪有矩形拜石，在臺灣傳統書院建築中相當少見。磺溪書院牆面磚雕更是細緻，不僅造型、施工技術上相當精巧，甚至細部裝飾及磚做工夫講究，值得細細觀賞品味。
磺溪書院的前身稱為「西雝社」也稱為「文昌會」，是當代文人之結集場所。清嘉慶年間仕紳趙順芳（西元1828-1895年）、楊占鰲（西元1794-1843年）創立西雝社，之後又發動社員倡捐來興建文昌祠，做為論學之場所。
趙順芳的兒子趙璧（西元1850-1902年）中舉秀才，後起之秀輩出，崇文重道，蔚為風氣。為了文風的推展與教育之普及，於清光緒13年（西元1887年）由趙順芳（西元1828-1895年）倡議在文昌祠創設書院，名為「磺溪書院」，工程於清光緒16年（西元1890年）完成，正式成為學堂，從此地方文風日盛，為大肚地區造就不少人才，對於推展地方教化極具貢獻。
二次大戰期間，書院遭受盟軍轟炸，廂房塌毀，幾乎成了廢墟，戰後又不斷遭竊即變賣廟產古物，歷久失修，加上民國48年（西元1959年）逢八七水災，屋牆更加嚴重毀損。
為保留文物，在地方人士極力奔走及政府機關支持下進行修復，並於民國74年（西元1985年）經內政部列為第三級古蹟。民國78年（西元1989年）磺溪書院建築重修完成，為了不讓書院內空無一物，由行政院文化建設委員會補助各種文物的搜集與仿製，當時收集文物範圍包含︰文昌神像、香爐、線裝古籍、科舉捷報、書院制度規約、山長眠床鋪盥盆、童生籃、書畫琴瓶等，使得磺溪書院成為全國古蹟書院中，軟硬體文物設備非常充實的一所教育之地。
書院是一座七開間、二進、二護龍，帶四垂亭之四合院式建築，前埕寬廣，形式雄偉。三川殿較地面抬高數階，以中央三開間為山門，燕尾翹脊屋頂由此左右層層分布，使七開間正面展布均勻。屋頂裝飾不求華麗卻非常精緻，燕尾屋脊裝飾著象徵能鎮壓火災的魚尾蛟龍一對。中門前有生動的青斗石獅一對，顯出雕工的細膩力道。由山門而入是木構的柱廊，柱廊左右的斗仔砌磚牆上，各開一口磚砌之海棠形花式月門，形式精美為他處罕見，讓空間的變化更為豐富。
書院以三川殿中央三開間為山門，門廳比地面高出三階，講堂則高出五階。由正面觀之，燕尾翹脊屋頂自山門左右層層降落，屋頂組合豐富壯麗，屋頂裝飾不求華麗卻非常精緻，燕尾屋脊裝飾著象徵能鎮壓火災的魚尾蛟龍一對，西施脊上施作圖案簡潔有力的剪黏作品，而三川殿正面垂脊上牌頭以交趾陶的人物排列。
正殿主祀文昌帝君，堂內高懸「經天緯地」古匾，是清光緒15年（西元1889年）由書院董監鄉紳同立。講堂兩側與護龍廂舍相連接的過水廊外牆，由磚雕製作相當精美，更以裝飾手法，在榫接處做出不同圖案，從牆堵、門窗外框到半圓弧牆基，以及花瓶形廊門等，皆用鏤刻花紋的磚雕裝飾。
拜殿是磺溪書院最大的特色，臺基前端有御路石，四周則以花崗石欄杆圍起。拜殿為八柱歇山屋頂之建築，佇立於築高的方形月臺上，外角四柱為花崗石石柱，以防風雨侵蝕，內側四柱為本柱，與大木結構接續，內外功能分明。拜殿五頂造型具特色的剪黏作品，處處充滿藝術之美。
磺溪書院於清光緒13年（西元1887年）創建至今，歷經多次災難，文物更是散失嚴重。時至今日，除了建築與裝飾之外，僅有正殿懸掛的「經天緯地」古匾，以及保存在大肚國小的銅鐘是舊有文物，而懸掛在拜殿的「雅歌孝友」匾，則是近期仿製的匾額。
在建築物方面，「磺溪書院」在臺灣建築史上具有極高之藝術價值，不僅造型、施工技術上非常精巧，牆面磚雕更是精美，細部裝飾及磚做工夫講究，可以稱上是臺灣磚工最考究的書院建築。
每年農曆2月3日為文昌帝君的壽誕，大肚區公所會舉辦文昌帝君祭，舉行祭典並擲筊杯產生爐主。並且在升學考季前，在書院為考生舉辦盛大的祈福祭典，祈求文昌帝君保佑學子學業進步、金榜題名。
拜殿是磺溪書院深具特色的建築，為八柱歇山屋頂之設計，佇立在築高的方形月臺上，外角四柱為花崗石石柱，以防風雨侵蝕。
正殿上方高懸「經天緯地」古匾，是清光緒15年（西元1889年）由書院董監鄉紳同立。
磺溪書院殿內供奉五尊神明︰文昌帝君、孚佑帝君、文衡帝君、朱衣星君、魁斗星君，合稱為「五文昌」
三川殿龍虎堵的磚雕，左面牆上雕著如意花瓶、石榴青蔥，象徵平安如意、百子聰明。