磺溪书院又称文昌庙，是一间结合学堂与庙宇的闽南式四合院建筑。殿内供奉五尊神明︰文昌帝君、孚佑帝君、文衡帝君、朱衣星君、魁斗星君，合称为「五文昌」，是古时科举时代掌管所有考试的神明。
拜殿是磺溪书院深具特色的建筑，为八柱歇山屋顶之设计，伫立在筑高的方形月台上，外角四柱为花岗石石柱，以防风雨侵蚀，内侧四柱为本柱，与大木结构接续。屋顶脊饰精美、剪黏图象生动，是拜殿的主要特点。拜殿前为宽广的中庭，铺面为少见的瓦质拼花地砖，中央铺有矩形拜石，在台湾传统书院建筑中相当少见。磺溪书院墙面砖雕更是细致，不仅造型、施工技术上相当精巧，甚至细部装饰及砖做工夫讲究，值得细细观赏品味。
磺溪书院的前身称为「西雝社」也称为「文昌会」，是当代文人之结集场所。清嘉庆年间仕绅赵顺芳（西元1828-1895年）、杨占鳌（西元1794-1843年）创立西雝社，之後又发动社员倡捐来兴建文昌祠，做为论学之场所。
赵顺芳的儿子赵璧（西元1850-1902年）中举秀才，後起之秀辈出，崇文重道，蔚为风气。为了文风的推展与教育之普及，於清光绪13年（西元1887年）由赵顺芳（西元1828-1895年）倡议在文昌祠创设书院，名为「磺溪书院」，工程於清光绪16年（西元1890年）完成，正式成为学堂，从此地方文风日盛，为大肚地区造就不少人才，对於推展地方教化极具贡献。
二次大战期间，书院遭受盟军轰炸，厢房塌毁，几乎成了废墟，战後又不断遭窃即变卖庙产古物，历久失修，加上民国48年（西元1959年）逢八七水灾，屋墙更加严重毁损。
为保留文物，在地方人士极力奔走及政府机关支持下进行修复，并於民国74年（西元1985年）经内政部列为第三级古蹟。民国78年（西元1989年）磺溪书院建筑重修完成，为了不让书院内空无一物，由行政院文化建设委员会补助各种文物的搜集与仿制，当时收集文物范围包含︰文昌神像、香炉、线装古籍、科举捷报、书院制度规约、山长眠床铺盥盆、童生篮、书画琴瓶等，使得磺溪书院成为全国古蹟书院中，软硬体文物设备非常充实的一所教育之地。
书院是一座七开间、二进、二护龙，带四垂亭之四合院式建筑，前埕宽广，形式雄伟。三川殿较地面抬高数阶，以中央三开间为山门，燕尾翘脊屋顶由此左右层层分布，使七开间正面展布均匀。屋顶装饰不求华丽却非常精致，燕尾屋脊装饰着象徵能镇压火灾的鱼尾蛟龙一对。中门前有生动的青斗石狮一对，显出雕工的细腻力道。由山门而入是木构的柱廊，柱廊左右的斗仔砌砖墙上，各开一口砖砌之海棠形花式月门，形式精美为他处罕见，让空间的变化更为丰富。
书院以三川殿中央三开间为山门，门厅比地面高出三阶，讲堂则高出五阶。由正面观之，燕尾翘脊屋顶自山门左右层层降落，屋顶组合丰富壮丽，屋顶装饰不求华丽却非常精致，燕尾屋脊装饰着象徵能镇压火灾的鱼尾蛟龙一对，西施脊上施作图案简洁有力的剪黏作品，而三川殿正面垂脊上牌头以交趾陶的人物排列。
正殿主祀文昌帝君，堂内高悬「经天纬地」古匾，是清光绪15年（西元1889年）由书院董监乡绅同立。讲堂两侧与护龙厢舍相连接的过水廊外墙，由砖雕制作相当精美，更以装饰手法，在榫接处做出不同图案，从墙堵、门窗外框到半圆弧墙基，以及花瓶形廊门等，皆用镂刻花纹的砖雕装饰。
拜殿是磺溪书院最大的特色，台基前端有御路石，四周则以花岗石栏杆围起。拜殿为八柱歇山屋顶之建筑，伫立於筑高的方形月台上，外角四柱为花岗石石柱，以防风雨侵蚀，内侧四柱为本柱，与大木结构接续，内外功能分明。拜殿五顶造型具特色的剪黏作品，处处充满艺术之美。
磺溪书院於清光绪13年（西元1887年）创建至今，历经多次灾难，文物更是散失严重。时至今日，除了建筑与装饰之外，仅有正殿悬挂的「经天纬地」古匾，以及保存在大肚国小的铜钟是旧有文物，而悬挂在拜殿的「雅歌孝友」匾，则是近期仿制的匾额。
在建筑物方面，「磺溪书院」在台湾建筑史上具有极高之艺术价值，不仅造型、施工技术上非常精巧，墙面砖雕更是精美，细部装饰及砖做工夫讲究，可以称上是台湾砖工最考究的书院建筑。
每年农历2月3日为文昌帝君的寿诞，大肚区公所会举办文昌帝君祭，举行祭典并掷筊杯产生炉主。并且在升学考季前，在书院为考生举办盛大的祈福祭典，祈求文昌帝君保佑学子学业进步、金榜题名。
拜殿是磺溪书院深具特色的建筑，为八柱歇山屋顶之设计，伫立在筑高的方形站台上，外角四柱为花岗石石柱，以防风雨侵蚀。
正殿上方高悬「经天纬地」古匾，是清光绪15年（公元1889年）由书院董监乡绅同立。
磺溪书院殿内供奉五尊神明︰文昌帝君、孚佑帝君、文衡帝君、朱衣星君、魁斗星君，合称为「五文昌」
三川殿龙虎堵的砖雕，左面墙上雕着如意花瓶、石榴青葱，象征平安如意、百子聪明。