3百多年来，臺南孔子庙历经数次重大整修，在臺湾传统建筑中占有无可取代的地位，为臺南最完整的传统闽南建筑组群，採标准的「左学右庙」格局，前殿后阁的三合院，分三进两厢。右庙第一进为大成门，分别设立名宦祠、乡贤祠、孝子祠、节孝祠，中进是大成殿，供奉孔子牌位，两侧有东、西两庑奉祀81位先贤77位先儒。礼器库、乐器库，分别位在东、西庑的北边，是收藏礼乐器之处。后方有崇圣祠(原启圣祠)，由18根柱子支撑的敞厅，屋顶为硬山式燕尾，祠内中央神龛供奉孔子5代祖先，两旁分别为以成书院、典籍库。左学部分设置明伦堂与文昌阁。空间格局东侧立有泮宫坊，南有泮池。外设礼门、义路、大成坊及半月形牆垣。佔地达9007平方公尺，现存建物多达15栋，是全臺孔庙中建筑物最多者，优美的建筑配置引人入胜。
臺南孔子庙有两处空间以「泮」为名，分别为「泮宫坊」、「泮池」，泮宫坊为清乾隆14年（公元1749年）建造，为彷木构造之石坊，泮池为圆形，与庭园相接的牆上嵌有「思乐泮水」石碑。早期「泮宫」代表是诸侯的学校，泮宫坊为旧时孔庙最外面出入口，日据时期开闢南门路时而分隔开来，成为今日状似两处景点之模样。
大成殿现在的样貌，为民国66年（公元1977年）所整建，是孔子庙建筑群中层级最高者。位居合院中间，被其他建筑环绕，显见其重要性，位于高起的台基上，呈现一种崇高的意涵。前方的露台为祭孔典礼表演佾舞的场所，殿内则高悬自清朝康熙皇帝以来，除了末代皇帝溥仪以外所有元首颂扬孔子的匾额。
大成门是以6根柱子支撑的木构架，每组门扇上面不绘门神，而是共设108根门钉，也不书写任何楹联，以示对孔子的敬重。
文昌阁是臺湾孔庙中很特殊的建筑，因传统古制中，文昌阁主祀神文昌帝君和魁星，与孔子完全无关，只因历代重视科举考试，文昌帝君和魁星相传能庇佑考生，因此才在孔庙中建文昌阁。现有文昌阁1楼为方形，2楼为圆形，3楼为八角形设计，2、3楼间有小外廊。2楼主祀文昌帝君，3楼供奉魁星爷，因此也有人亦将文昌阁称为魁星楼。
明伦堂是儒学讲堂最常用的名称，也就是清代府学中的教室，以「明伦」堂为名，即以教授学生明白伦常，瞭解宗法制度概念下的人际关係和儒学对社会的认知，明伦是儒学的基础，故以此为名。堂内有一块「卧碑」刻着当时明伦堂的校规条文。
以成书院是臺南孔子庙的乐局，是奠礼时负责奏乐的组织。每年9月28日至圣先师孔子诞辰，举行祭孔大典的音乐是以前流传下来的，主要有：祭孔音乐，雅乐十三音。祭孔典礼时，负责担任乐器演奏的称为乐生，演奏时，乐生们都身穿长袍马褂，表示对典礼的虔敬。
孔庙最早未设下马牌，直至康熙26年（公元1687年）才奉旨设立于孔庙大成坊门外左右，现仅存一件下马牌。花岗石碑有满、汉文字阴刻凹入，填红色油漆，相当醒目。满文在左，汉文在右。内文是：「文武官员军民人等至此下马」以示对孔子的尊崇，是全臺孔庙中保存得最为完整、毫髮无损的下马碑。