振文書院的前身是文昌帝君祠，最早是由地方仕紳廖澄河（生卒年不詳）等人在清嘉慶2年（西元1797年）所捐獻興建。清嘉慶18年（西元1813年）西螺當地詩社王有成（生卒年不詳）等人，有感於地方需要明禮教化，廖澄河也積極協助，隔年成立了振文書院，成立之時振文詩社也獻匾「千秋書祖」。
振文書院位於西螺東南部，自成立以來都是地方仕紳風雅酬唱聚會之所，同時也是地方學子就學的地方，有西螺首學之地位。除了教育功能，振文書院同時負有社會教化意義。清末煙毒氾濫，振文書院也創立屬於鸞堂信仰的義孚社，以協助戒離煙害。
自創建以來，幾乎每隔十餘年就會翻修，次數相當頻繁，最後一次大修是在民國88年（西元1999年）的921地震之後。
清康熙年間清廷收臺之後，對於書院的政策一方面禁止「別創書院」，另一方面又新建、重設書院來取代原本明鄭留下來之官學。積極以官辦書院來樹立統治權威，官辦書院一開始仍帶有義學的色彩，直到清康熙59年（西元1720年）才在臺灣府蓋了第一間正規的書院「海東書院」，之後各縣便起而仿效。到了清乾隆年間，各地開始陸續推廣書院，但仍以官方為主力，直到清嘉慶、道光年間，充沛的民間活力才真正刺激了教育市場，振文書院也在此時邁出腳步。
正如同許多同時期的民辦書院一樣，振文書院亦由文昌廟與所屬的文（詩）社、社學所增建。在雲林境內，振文書院也是除了官辦的龍門書院之外，第一個成立的民辦書院，而且也是唯一流傳至今的書院。書院成立後，成為西螺街的文教中心，除了原本提倡創立書院的詩社振文社繼續在書院活動之外，鄉里子弟也可以就近進入書院就讀，力圖求取功名。
振文書院除了扮演社會教育之角色外，也相當重視社會責任，日明治39年（西元1906年）設立鸞堂義孚社，以協助社會人士戒除煙癮，是臺灣目前可考最早的戒毒團體。在日本時代，書院的教育功能慢慢喪失，原有的社會教化能量便轉進鸞堂系統，設懿德堂（現南天修文院懿德分院），在二戰改建為奉祀五恩主（文昌帝君、孚佑帝君、關聖帝君、朱衣帝君、綠衣帝君）、孔子與倉頡的文祠廟。
振文書院在維護方面非常重視，目前史料明確有記載的維修年代，有清道光18年（西元1838年）、日明治40年（西元1907年）、日大正10年（西元1921年）、日昭和9年（西元1934年）、民國36年（西元1947年），幾乎每十年重修一次。民國73年（西元1984年）列入縣定古蹟之後，亦於民國78年（西元1989年）進行整體修復工程，但在921地震時受到嚴重損傷，直至民國93年（西元2004年）才修復完成。
難能可貴的是，雖然振文書院歷經多次修建，但是仍能維持基本的原貌，而後期幾次修建更引入學者專家參與，讓振文書院能在原有基礎上修復，目前恢復原本的祭祀功能成為文祠廟，主要奉祀五文昌與孔子、倉頡，地方上的子弟每逢大考或就學的選擇時，常來此祈求庇佑，然而管理委員會規定不收香油錢，獨力養護振文書院。
振文書院的平面格局為單進二護龍，在正殿與護龍間，各有一個過水亭做為樞紐相互連接，在正殿前面設有拜亭，可讓信眾進入參拜時，不會直面正殿顯得太過突兀，也可延伸縱向的視覺軸線。正殿屋架是三通五瓜結構，瓜筒造型細長類似「木瓜筒」，有溪底派特徵，通樑下的托木是「鰲龍」，為文昌廟或書院的裝飾特徵。
建築群落裡還有一些附屬建物，例如在民國76年（西元1987年）才興建的門樓，雖然為現代建物，但所用石材是清光緒年間的泉州白石，當年便埋藏在地下以備未來使用；另外，還有書院建築常見的字紙亭，頂上的裝飾仿燕尾翹脊，相當可愛，與其他臺灣現存常見的敬字亭造型稍有不同。
正殿神龕內主祀五文昌與孔子、倉頡。正殿祭祀空間上方的「百代文衡」匾，為民國72年（西元1983年）複製，原件已經損佚。
正殿屋架是三通五瓜結構，瓜筒造型細長類似「木瓜筒」，有溪底派特徵。通樑下的托木是「鰲龍」，為文昌廟或書院的裝飾特徵。
香案為南天修文院懿德分院所獻，其前身為設在振文書院內的懿德堂。
拜殿的裝飾性格強烈，無論是獅座、穿斗、員光（彎弓）都布滿裝飾。
清嘉慶年間振文書院落成時，振文社所獻的「千秋書祖」匾，下方的彩繪為精忠報國與孝感動天。
門樓右側入口的門枕石，所用石材是清光緒年間的泉州白石。
門樓上正脊與垂脊上的裝飾樸實，正脊上的龍是用陶土燒製；垂脊上的仙人偶的身體為泥塑，頭部則是陶塑。
字紙亭是書院建築必備的設施，頂上裝飾仿燕尾翹脊，與其他臺灣現存常見的敬字亭造型稍有不同。
書院內有百年井頭，當年習俗取井水調和香灰可以戒毒。