振文书院的前身是文昌帝君祠，最早是由地方仕绅廖澄河（生卒年不详）等人在清嘉庆2年（西元1797年）所捐献兴建。清嘉庆18年（西元1813年）西螺当地诗社王有成（生卒年不详）等人，有感於地方需要明礼教化，廖澄河也积极协助，隔年成立了振文书院，成立之时振文诗社也献匾「千秋书祖」。
振文书院位於西螺东南部，自成立以来都是地方仕绅风雅酬唱聚会之所，同时也是地方学子就学的地方，有西螺首学之地位。除了教育功能，振文书院同时负有社会教化意义。清末烟毒泛滥，振文书院也创立属於鸾堂信仰的义孚社，以协助戒离烟害。
自创建以来，几乎每隔十余年就会翻修，次数相当频繁，最後一次大修是在民国88年（西元1999年）的921地震之後。
清康熙年间清廷收台之後，对於书院的政策一方面禁止「别创书院」，另一方面又新建、重设书院来取代原本明郑留下来之官学。积极以官办书院来树立统治权威，官办书院一开始仍带有义学的色彩，直到清康熙59年（西元1720年）才在台湾府盖了第一间正规的书院「海东书院」，之後各县便起而仿效。到了清乾隆年间，各地开始陆续推广书院，但仍以官方为主力，直到清嘉庆、道光年间，充沛的民间活力才真正刺激了教育市场，振文书院也在此时迈出脚步。
正如同许多同时期的民办书院一样，振文书院亦由文昌庙与所属的文（诗）社、社学所增建。在云林境内，振文书院也是除了官办的龙门书院之外，第一个成立的民办书院，而且也是唯一流传至今的书院。书院成立後，成为西螺街的文教中心，除了原本提倡创立书院的诗社振文社继续在书院活动之外，乡里子弟也可以就近进入书院就读，力图求取功名。
振文书院除了扮演社会教育之角色外，也相当重视社会责任，日明治39年（西元1906年）设立鸾堂义孚社，以协助社会人士戒除烟瘾，是台湾目前可考最早的戒毒团体。在日本时代，书院的教育功能慢慢丧失，原有的社会教化能量便转进鸾堂系统，设懿德堂（现南天修文院懿德分院），在二战改建为奉祀五恩主（文昌帝君、孚佑帝君、关圣帝君、朱衣帝君、绿衣帝君）、孔子与仓颉的文祠庙。
振文书院在维护方面非常重视，目前史料明确有记载的维修年代，有清道光18年（西元1838年）、日明治40年（西元1907年）、日大正10年（西元1921年）、日昭和9年（西元1934年）、民国36年（西元1947年），几乎每十年重修一次。民国73年（西元1984年）列入县定古蹟之後，亦於民国78年（西元1989年）进行整体修复工程，但在921地震时受到严重损伤，直至民国93年（西元2004年）才修复完成。
难能可贵的是，虽然振文书院历经多次修建，但是仍能维持基本的原貌，而後期几次修建更引入学者专家参与，让振文书院能在原有基础上修复，目前恢复原本的祭祀功能成为文祠庙，主要奉祀五文昌与孔子、仓颉，地方上的子弟每逢大考或就学的选择时，常来此祈求庇佑，然而管理委员会规定不收香油钱，独力养护振文书院。
振文书院的平面格局为单进二护龙，在正殿与护龙间，各有一个过水亭做为枢纽相互连接，在正殿前面设有拜亭，可让信众进入参拜时，不会直面正殿显得太过突兀，也可延伸纵向的视觉轴线。正殿屋架是三通五瓜结构，瓜筒造型细长类似「木瓜筒」，有溪底派特徵，通梁下的托木是「鳌龙」，为文昌庙或书院的装饰特徵。
建筑群落里还有一些附属建物，例如在民国76年（西元1987年）才兴建的门楼，虽然为现代建物，但所用石材是清光绪年间的泉州白石，当年便埋藏在地下以备未来使用；另外，还有书院建筑常见的字纸亭，顶上的装饰仿燕尾翘脊，相当可爱，与其他台湾现存常见的敬字亭造型稍有不同。
正殿神龛内主祀五文昌与孔子、仓颉。正殿祭祀空间上方的「百代文衡」匾，为民国72年（公元1983年）复制，原件已经损佚。
正殿屋架是三通五瓜结构，瓜筒造型细长类似「木瓜筒」，有溪底派特征。通梁下的托木是「鳌龙」，为文昌庙或书院的装饰特征。
香案为南天修文院懿德分院所献，其前身为设在振文书院内的懿德堂。
拜殿的装饰性格强烈，无论是狮座、穿斗、员光（弯弓）都布满装饰。
清嘉庆年间振文书院落成时，振文社所献的「千秋书祖」匾，下方的彩绘为精忠报国与孝感动天。
门楼右侧入口的门枕石，所用石材是清光绪年间的泉州白石。
门楼上正脊与垂脊上的装饰朴实，正脊上的龙是用陶土烧制；垂脊上的仙人偶的身体为泥塑，头部则是陶塑。
字纸亭是书院建筑必备的设施，顶上装饰仿燕尾翘脊，与其他台湾现存常见的敬字亭造型稍有不同。
书院内有百年井头，当年习俗取井水调和香灰可以戒毒。