三山国王是发源于今广东省揭阳市揭西县巾山、明山、独山的三山信仰，相传隋朝时有神3人从巾山的石穴出现，受命于天，分镇三山。另有陈姓乡民，看见3位神人，招唤他为侍从，不久便跟着羽化。人们讶异神迹，便建祠祭祀。唐代韩愈任潮州刺史，曾以少牢之礼致祭。宋代时，诏封明山为清化威德报国王、巾山为助政明肃宁国王，以及独山为惠感弘应丰国王，这便是后人尊称三山国王的由来。三山国王属于潮州地方的保护神，具有强烈的地域性神格。
台南三山国王庙的建立，与来台的潮州移民有密切的关系。三山国王为潮籍人士的福神，所以来台的潮州移民为了旅途平安、事业顺利，多佩带着三山国王炉香。文献上有关台南三山国王庙的创建，清乾隆17年(公元1752年)《重修台湾县志》的记载是雍正7年(公元1729年)，知县杨允玺(1704-1760)、左营游击林梦熊(生卒年不详)率粤东诸商民建；后来日人前岛信次(1903-1983)在昭和13年(公元1938年)，对于建庙时间提出了质疑，以杨允玺、林梦熊于乾隆7年(公元1742年)才到台履任等原因，推测三山国王庙应创建于乾隆7年(公元1742年)。《台南三山国王庙之调查研究与修护计划》中则认为三山国王庙应草创于雍正7年(公元1729年)，乾隆7年(公元1742年)由杨允玺、林梦熊率粤东商民修建。
乾隆37年(公元1772年)时，三山国王庙的右侧建造韩文公祠，祭祀韩愈。乾隆41年(公元1776年)，将原来简陋的屋宇改建，成为与主庙相连的两进式庙宇。清嘉庆7年(公元1802年)，在三山国王庙后添置会馆空间，因此台南三山国王庙又称潮州会馆。咸丰10年(公元1860年)，台南三山国王庙再次修建，工程分两次进行，第2次在同治3年(公元1864年)。光绪13年(公元1887年)，三山国王庙左侧天后圣母祠重修。
日治时期，庙产落入少数归化日本人的潮籍人士之手。且后来庙产被盗卖，作为肥料堆积场使用。昭和18年(公元1943年)，日人国分直一前往调查时，韩文公祠与天后圣母祠均做为肥料仓库，后殿则做为线香制造和木工工作场，厢房也成为民居使用。
二次世界大战结束后，台南市政府以日产接收，纳入财政部国有财产局管理范围。民国58年(公元1969年)和65年(公元1976年)皆有修建。民国74年(公元1985年)，经内政部公告指定为2级古迹。但民国79年(公元1990年)，圣母祠因违建拆除后，墙廊屋面损坏严重，向台南市政府申请紧急抢修补助，未获通过，于是庙方径行抢修，成为新旧参杂的庙宇。民国83年(公元1994年)，三山国王庙进行修复工程，于民国85年(公元1996年)完工。
由于三山国王是潮籍人士的福神，所以当潮州人迁徙来台，身上多配带着三山国王的炉香作为护佑，随着潮籍人士的南迁北徙，也将三山国王的信仰传播到各地。据民国48年(公元1959年)和49年(公元1960年)间的调查，当时全台的三山国王庙有124座，但在台南市仅有1座三山国王庙，这可能与台南开发较早，各籍移民已有固定的垦拓领域，潮籍移民能扩张的势力范围有限有关。
座东南朝西北的台南三山国王庙，是1座三进三祠的潮州式建筑，分为3部分，中央为三山国王庙，主祀三山国王，正殿前檐廊左右山墙上开有花瓶形门洞，供通往两侧。两侧各倚三开间祠庙1座，左边是供奉天上圣母的天后圣母祠；右边是供奉韩愈的韩文公祠，整体看来，宛若紧相靠着的3座庙宇。后殿原本是会馆空间，除了中央供奉三山国王夫人外，其他空间均做赁居使用，以横向狭窄的后埕与主祭祀空间隔离。
台南三山国王庙也是目前台湾唯一完整地保存潮州建筑风格的庙宇，尤其精致细腻的大木作，以及平直的屋脊与屋面曲线特征，与闽南建筑截然不同。
屋顶面反曲平缓和屋脊曲度平直，且大量采用青瓦，被认为是台南三山国王庙与闽系建筑有极大差异的地方。一般闽南建筑，除了安溪一带用青瓦外，大都以红板瓦覆盖屋顶，因此屋顶面多呈砖红色调；潮系建筑及粤系建筑常用青灰色的黑瓦做屋面的防水材，铺出来的屋顶呈灰黑色。台南三山国王庙的屋顶除了用青瓦覆盖，瓦缝并用青灰做成筒瓦形的瓦陇，陇身有如芹菜茎的纵纹，俗称灰梗，这种屋顶的作法称为仰瓦灰梗。并镶有绿釉的瓦当与滴水，由于色泽青绿，又有琉璃光泽，与灰黑色的屋面呈强烈对比。将屋脊装饰得富丽堂皇，是粤系建筑常见的风格，台南三山国王庙的屋顶脊饰，基本上保持了粤系建筑的精神，但没有他例的浮华。
闽系建筑中，多采用闽南红砖砌造，使整片墙面呈艳红与温暖的砖色，台南三山国王庙的砖墙，则以实砖垒砌，再面以白灰粉刷，甚至连正面檐廊的外檐装修也处理成厚实的白灰墙，既无闽系庙宇常见的龙虎堵、麒麟堵和螭虎围炉窗，也没有外露的砖面，只有朴实无华的灰白色系。
三山国王庙的柱，由木、石两种构材组成，石柱与梁用搭接，木柱与梁用榫接。这是因为石柱本身截面较小，凿榫不易，与其像闽系建筑用接柱来处理构架榫接，不如直接顶至梁下搭接，因而形成潮系建筑檐口挑尖梁伸出的特殊作法。台南三山国王庙大木作雕饰，也大致保存了潮州地区以精致镂雕取胜的风格。
台南三山国王庙的正殿前檐廊左右山墙上开有花瓶形门洞，色系以朴实无华的灰白色为主。
台南三山国王庙大木作雕饰，保存了潮州地区以精致镂雕取胜的风格。
三山国王是潮籍人士的福神，因潮州人迁徙来台而将此传播全台，台南三山国王庙是1座东南朝西北、三进三祠的潮州建筑，主祀三山国王。