三山國王是發源於今廣東省揭陽市揭西縣巾山、明山、獨山的三山信仰，相傳隋朝時有神3人從巾山的石穴出現，受命於天，分鎮三山。另有陳姓鄉民，看見3位神人，招喚他為侍從，不久便跟著羽化。人們訝異神蹟，便建祠祭祀。唐代韓愈任潮州刺史，曾以少牢之禮致祭。宋代時，詔封明山為清化威德報國王、巾山為助政明肅寧國王，以及獨山為惠感弘應豐國王，這便是後人尊稱三山國王的由來。三山國王屬於潮州地方的保護神，具有強烈的地域性神格。
臺南三山國王廟的建立，與來臺的潮州移民有密切的關係。三山國王為潮籍人士的福神，所以來臺的潮州移民為了旅途平安、事業順利，多佩帶著三山國王爐香。文獻上有關臺南三山國王廟的創建，清乾隆17年(公元1752年)《重修臺灣縣志》的記載是雍正7年(公元1729年)，知縣楊允璽(1704-1760)、左營遊擊林夢熊(生卒年不詳)率粵東諸商民建；後來日人前島信次(1903-1983)在昭和13年(公元1938年)，對於建廟時間提出了質疑，以楊允璽、林夢熊於乾隆7年(公元1742年)才到臺履任等原因，推測三山國王廟應創建於乾隆7年(公元1742年)。《臺南三山國王廟之調查研究與修護計畫》中則認為三山國王廟應草創於雍正7年(公元1729年)，乾隆7年(公元1742年)由楊允璽、林夢熊率粵東商民修建。
乾隆37年(公元1772年)時，三山國王廟的右側建造韓文公祠，祭祀韓愈。乾隆41年(公元1776年)，將原來簡陋的屋宇改建，成為與主廟相連的兩進式廟宇。清嘉慶7年(公元1802年)，在三山國王廟後添置會館空間，因此臺南三山國王廟又稱潮州會館。咸豐10年(公元1860年)，臺南三山國王廟再次修建，工程分兩次進行，第2次在同治3年(公元1864年)。光緒13年(公元1887年)，三山國王廟左側天后聖母祠重修。
日治時期，廟產落入少數歸化日本人的潮籍人士之手。且後來廟產被盜賣，作為肥料堆積場使用。昭和18年(公元1943年)，日人國分直一前往調查時，韓文公祠與天后聖母祠均做為肥料倉庫，後殿則做為線香製造和木工工作場，廂房也成為民居使用。
二次世界大戰結束後，臺南市政府以日產接收，納入財政部國有財產局管理範圍。民國58年(公元1969年)和65年(公元1976年)皆有修建。民國74年(公元1985年)，經內政部公告指定為2級古蹟。但民國79年(公元1990年)，聖母祠因違建拆除後，牆廊屋面損壞嚴重，向臺南市政府申請緊急搶修補助，未獲通過，於是廟方逕行搶修，成為新舊參雜的廟宇。民國83年(公元1994年)，三山國王廟進行修復工程，於民國85年(公元1996年)完工。
由於三山國王是潮籍人士的福神，所以當潮州人遷徙來臺，身上多配帶著三山國王的爐香作為護佑，隨著潮籍人士的南遷北徙，也將三山國王的信仰傳播到各地。據民國48年(公元1959年)和49年(公元1960年)間的調查，當時全臺的三山國王廟有124座，但在臺南市僅有1座三山國王廟，這可能與臺南開發較早，各籍移民已有固定的墾拓領域，潮籍移民能擴張的勢力範圍有限有關。
座東南朝西北的臺南三山國王廟，是1座三進三祠的潮州式建築，分為3部分，中央為三山國王廟，主祀三山國王，正殿前檐廊左右山牆上開有花瓶形門洞，供通往兩側。兩側各倚三開間祠廟1座，左邊是供奉天上聖母的天后聖母祠；右邊是供奉韓愈的韓文公祠，整體看來，宛若緊相靠著的3座廟宇。後殿原本是會館空間，除了中央供奉三山國王夫人外，其他空間均做賃居使用，以橫向狹窄的後埕與主祭祀空間隔離。
臺南三山國王廟也是目前臺灣唯一完整地保存潮州建築風格的廟宇，尤其精緻細膩的大木作，以及平直的屋脊與屋面曲線特徵，與閩南建築截然不同。
屋頂面反曲平緩和屋脊曲度平直，且大量採用青瓦，被認為是臺南三山國王廟與閩系建築有極大差異的地方。一般閩南建築，除了安溪一帶用青瓦外，大都以紅板瓦覆蓋屋頂，因此屋頂面多呈磚紅色調；潮系建築及粵系建築常用青灰色的黑瓦做屋面的防水材，鋪出來的屋頂呈灰黑色。臺南三山國王廟的屋頂除了用青瓦覆蓋，瓦縫並用青灰做成筒瓦形的瓦隴，隴身有如芹菜莖的縱紋，俗稱灰梗，這種屋頂的作法稱為仰瓦灰梗。並鑲有綠釉的瓦當與滴水，由於色澤青綠，又有琉璃光澤，與灰黑色的屋面呈強烈對比。將屋脊裝飾得富麗堂皇，是粵系建築常見的風格，臺南三山國王廟的屋頂脊飾，基本上保持了粵系建築的精神，但沒有他例的浮華。
閩系建築中，多採用閩南紅磚砌造，使整片牆面呈艷紅與溫暖的磚色，臺南三山國王廟的磚牆，則以實磚壘砌，再面以白灰粉刷，甚至連正面檐廊的外檐裝修也處理成厚實的白灰牆，既無閩系廟宇常見的龍虎堵、麒麟堵和螭虎圍爐窗，也沒有外露的磚面，只有樸實無華的灰白色系。
三山國王廟的柱，由木、石兩種構材組成，石柱與樑用搭接，木柱與樑用榫接。這是因為石柱本身截面較小，鑿榫不易，與其像閩系建築用接柱來處理構架榫接，不如直接頂至樑下搭接，因而形成潮系建築檐口挑尖樑伸出的特殊作法。臺南三山國王廟大木作雕飾，也大致保存了潮州地區以精緻鏤雕取勝的風格。
臺南三山國王廟的正殿前檐廊左右山牆上開有花瓶形門洞，色系以樸實無華的灰白色為主。
臺南三山國王廟大木作雕飾，保存了潮州地區以精緻鏤雕取勝的風格。
三山國王是潮籍人士的福神，因潮州人遷徙來臺而將此傳播全臺，臺南三山國王廟是1座東南朝西北、三進三祠的潮州建築，主祀三山國王。