「城隍」一词最早的意义为城墙与护城河，「城」为城墙、「隍」即护城河，后来演变成为指称守护城池的神明。文献中出现「城隍」一词，最早见于《周易》所说「城复于隍」；此外，亦见于《礼记》中「天子大腊八，水庸居其七」，文中所指即周朝规定，天子祭祀八神，其中第七神为水庸，水就是隍，而庸就是城，这便城隍祭祀的起源。随旧都市的发展，大部分的城，都建在水边，城与水渐渐结为一体，而水神与庸神也合而为一，成为守护城池的城隍神。早在公元239年，三国中的吴国，便有建城隍庙的记录。明太祖朱元璋(1328-1398)为各地府城隍封为「威灵公」官秩二品；各州城隍封为「灵佑侯」官秩三品；各县城隍封为「显佑伯」官秩四品，也各加「鉴察司民」爵号。随后虽撤去封号，但已经形成府、州、县城隍等阶级的称谓，且部分封号仍沿用迄今。入清之后，承袭明朝制度，清朝政府更通令各省、府、厅、县建造城隍庙，并列入官祀项目之一，地方新官上任，须卜选吉日亲自到城隍庙里举行奉告典礼方能赴任。
明永历23年(公元1669年)台湾府城隍庙落成于东安坊郡属右侧，时称「承天府城隍庙」，为台湾最早的官建城隍庙。乾隆42年(公元1777年)，当时知府蒋元枢(1738-1781)捐俸重修，立碑记事，据其《重修台郡各建筑图说》所绘，目前台湾府城隍庙的建筑格局应是在此时确立为四殿两厢房式的庙宇建筑，除第一进头门外，依次是正殿、后殿及大士殿；大士殿的右侧，设有记念台湾知府蒋毓英(生卒年不详)的蒋公祠。清领增修时，改称为今日所见庙名「台湾府城隍庙」。
台湾府城隍庙至今已历时300余年，历经多次修建。最早的整修纪录在康熙32年(公元1693年)，亦是出现该庙名称的最早文献纪录。庙前原有宽广的庙埕，明治40年(公元1907年)实施市区改正，划为道路用地，即今青年路；民国71年(公元1982年)，庙前青年路拓宽为15公尺的道路，庙埕消失殆尽，使得前殿紧临道路，成为临冲的庙宇。民国86年(公元1997年)内政部和市政府全额补助重修台湾府城隍庙，于民国88年(公元1999年)落成，成就今日所见之府城隍庙。目前的平面配置为二开间的三殿两厢房形式。除了大格局的整修，寺庙内的细部内容亦蕴含历史痕迹，从中央大门入口抬头仰望，可见高悬于三川殿上由廖雨亭题于昭和12年(公元1937年)的名匾「尔来了」；进了大门回首仰望，又见信徒陈江山(1899-1976)于同年奉献的硕大算盘高挂于门楣上方，与匾额对望；亦有清领时期咸丰11年(公元1861年)台湾府知府洪毓琛(1813-1863)所献之「福佑善良」匾额，以及光绪16年(公元1890年)台南府知府方祖荫(生卒年不详)所献的「彰瘅风声」匾额，从中可窥见所属辖区的转变。目前庙内仍存有多件早年遗存的供器，如乾隆年间石香炉、鉎铁金炉与锡质五赛。
台湾府城隍庙于民国74年(公元1985年)经指定为台闽地区第2级古迹，民国94年(公元2005年)文资法修法后升格为国定古迹。
台湾府城隍庙代表阴间的「府衙」，其建筑规模与台湾传统庙宇相较更为宏大且气派十足。就庙宇整体空间观之，格局为三殿两护龙，座北朝南。殿堂三进由前而后分别为山门、正殿、后后殿，山门与正殿之间建有1座川堂拜亭，东西两护龙面阔八间。正殿屋顶为单脊燕尾造型，脊上缀有双龙宝塔剪粘装饰;后殿则采造型简单的单脊马背式，仅中段以金钱花砖装饰。
既然身为「阴间」的府衙，不同于一般庙宇空间强调宽敞明亮，建物刻意低矮、空间左右封闭，进身极长，以压迫感营造出神秘肃穆的气氛。正殿为主要祭祀空间，为配合城隍神格所代表的形像，在建筑上避免轻佻奢华的精巧装饰。同时建造时将正殿后金柱并为神龛架柱，以省略后步柱，将原纵横4柱列减为12柱式的规模；后殿因缺少檐柱，采二列四排、共8柱，呈现出恢弘庄严但简洁的建筑形制。另有拜亭连接山门与正殿，由4柱独立组构而成，又可称之为「四脚亭」，除拜亭的两侧狭窄的天井可以采光可看出区隔性外，山门与正殿几乎已成为一体。拜亭由4柱及6架屋楹所组构而成。柱身采接柱的型态，下段柱身及柱珠皆饰以磨石子，柱间五界大通梁及三界二通梁上并置象斗座，其上层迭二斗承双脊桁，而为卷棚的形式，为该庙大木作上主要的特色所在。
建筑规模的宏大，也反映出台湾府城隍庙在所祀神祇上的多样性。主祀神为府城隍威灵公，另配祀有城隍夫人、观音菩萨、地藏菩萨、注生娘娘、天上圣母、福德正神、月下老人、十八罗汉、文武判官、范谢将军、甘柳将军、二十四司、门神等。「二十四司」是城隍爷的下属，传说为仿造古时候官制吏、户、礼、兵、刑、工等6部，而在其下又各分为4司，总计24司。而台湾府城隍庙的二十四司，特色为神像头部可以转动，极为特殊，在地人士认为其中地狱司与速报司像貌最为威武，考功司与学政司香火最为鼎盛。
除了建物整体格局与外部设计，府城隍庙内各种细部亦在在强烈传达台湾府城隍庙慑人的气氛：踏进府城隍庙三川殿，府城三大名匾之一、黑底金字的「尔来了」(其余为天坛的「一」、竹溪寺的「了然世界」)迎门高悬，回首仰望则有据称全台最大的算盘相互辉映，有众生终究在此清算善恶之意。左右山墙、龙门、虎门也各题有警世箴言。值得一提的是，两侧边门上绘门神，是人称「丽水师」潘丽水(1914-1995)的作品。门神为4位朝官，4位朝官手中分持冠、鹿、爵、牡丹，代表加官晋禄、晋爵富贵，并又各持1件如意，代表事事如意。
台湾府城隍庙正殿后墙上有「水车垛」。此处水车垛左右两方皆饰有虎型样式的泥塑，垛仁部分则有泥塑彩画。
踏进台湾府城隍庙三川殿，映入眼帘的府城三大名匾之一「尔来了」匾额，黑底金字、迎门高悬。
石狮左为雄狮，右为母狮，母狮脚下抱着小狮子，2只石狮有求子涵意。石狮柜台雕饰琴与棋，呼应左、右护龙山墙面的鹅头墬泥塑书与画。