3百多年來，臺南孔子廟歷經數次重大整修，在臺灣傳統建築中占有無可取代的地位，為臺南最完整的傳統閩南建築組群，採標準的「左學右廟」格局，前殿後閣的三合院，分三進兩廂。右廟第一進為大成門，分別設立名宦祠、鄉賢祠、孝子祠、節孝祠，中進是大成殿，供奉孔子牌位，兩側有東、西兩廡奉祀81位先賢77位先儒。禮器庫、樂器庫，分別位在東、西廡的北邊，是收藏禮樂器之處。後方有崇聖祠(原啟聖祠)，由18根柱子支撐的敞廳，屋頂為硬山式燕尾，祠內中央神龕供奉孔子5代祖先，兩旁分別為以成書院、典籍庫。左學部分設置明倫堂與文昌閣。空間格局東側立有泮宮坊，南有泮池。外設禮門、義路、大成坊及半月形牆垣。佔地達9007平方公尺，現存建物多達15棟，是全臺孔廟中建築物最多者，優美的建築配置引人入勝。
臺南孔子廟有兩處空間以「泮」為名，分別為「泮宮坊」、「泮池」，泮宮坊為清乾隆14年（公元1749年）建造，為仿木構造之石坊，泮池為圓形，與庭園相接的牆上嵌有「思樂泮水」石碑。早期「泮宮」代表是諸侯的學校，泮宮坊為舊時孔廟最外面出入口，日治時期開闢南門路時而分隔開來，成為今日狀似兩處景點之模樣。
大成殿現在的樣貌，為民國66年（公元1977年）所整建，是孔子廟建築群中層級最高者。位居合院中間，被其他建築環繞，顯見其重要性，位於高起的台基上，呈現一種崇高的意涵。前方的露台為祭孔典禮表演佾舞的場所，殿內則高懸自清朝康熙皇帝以來，除了末代皇帝溥儀以外所有元首頌揚孔子的匾額。
大成門是以6根柱子支撐的木構架，每組門扇上面不繪門神，而是共設108根門釘，也不書寫任何楹聯，以示對孔子的敬重。
文昌閣是臺灣孔廟中很特殊的建築，因傳統古制中，文昌閣主祀神文昌帝君和魁星，與孔子完全無關，只因歷代重視科舉考試，文昌帝君和魁星相傳能庇佑考生，因此才在孔廟中建文昌閣。現有文昌閣1樓為方形，2樓為圓形，3樓為八角形設計，2、3樓皆有小外廊。2樓主祀文昌帝君，3樓供奉魁星爺，因此也有人亦將文昌閣稱為魁星樓。
明倫堂是儒學講堂最常用的名稱，也就是清代府學中的教室，以「明倫」堂為名，即以教授學生明白倫常，瞭解宗法制度概念下的人際關係和儒學對社會的認知，明倫是儒學的基礎，故以此為名。堂內有一塊「臥碑」刻著當時明倫堂的校規條文。
以成書院是臺南孔子廟的樂局，是奠禮時負責奏樂的組織。每年9月28日至聖先師孔子誕辰，舉行祭孔大典的音樂是以前流傳下來的，主要有：祭孔音樂，雅樂十三音。祭孔典禮時，負責擔任樂器演奏的稱為樂生，演奏時，樂生們都身穿長袍馬褂，表示對典禮的虔敬。
孔廟最早未設下馬牌，直至康熙26年（公元1687年）才奉旨設立於孔廟大成坊門外左右，現僅存一件下馬牌。花崗石碑有滿、漢文字陰刻凹入，填紅色油漆，相當醒目。滿文在左，漢文在右。內文是：「文武官員軍民人等至此下馬」以示對孔子的尊崇，是全臺孔廟中保存得最為完整、毫髮無損的下馬碑。