「城隍」一詞最早的意義為城牆與護城河，「城」為城牆、「隍」即護城河，後來演變成為指稱守護城池的神明。文獻中出現「城隍」一詞，最早見於《周易》所說「城復於隍」；此外，亦見於《禮記》中「天子大臘八，水庸居其七」，文中所指即周朝規定，天子祭祀八神，其中第七神為水庸，水就是隍，而庸就是城，這便城隍祭祀的起源。隨舊都市的發展，大部分的城，都建在水邊，城與水漸漸結為一體，而水神與庸神也合而為一，成為守護城池的城隍神。早在公元239年，三國中的吳國，便有建城隍廟的記錄。明太祖朱元璋(1328-1398)為各地府城隍封為「威靈公」官秩二品；各州城隍封為「靈祐侯」官秩三品；各縣城隍封為「顯祐伯」官秩四品，也各加「鑒察司民」爵號。隨後雖撤去封號，但已經形成府、州、縣城隍等階級的稱謂，且部分封號仍沿用迄今。入清之後，承襲明朝制度，清朝政府更通令各省、府、廳、縣建造城隍廟，並列入官祀項目之一，地方新官上任，須卜選吉日親自到城隍廟裡舉行奉告典禮方能赴任。
明永曆23年(公元1669年)臺灣府城隍廟落成於東安坊郡屬右側，時稱「承天府城隍廟」，為臺灣最早的官建城隍廟。乾隆42年(公元1777年)，當時知府蔣元樞(1738-1781)捐俸重修，立碑記事，據其《重修臺郡各建築圖說》所繪，目前臺灣府城隍廟的建築格局應是在此時確立為四殿兩廂房式的廟宇建築，除第一進頭門外，依次是正殿、後殿及大士殿；大士殿的右側，設有記念臺灣知府蔣毓英(生卒年不詳)的蔣公祠。清領增修時，改稱為今日所見廟名「臺灣府城隍廟」。
臺灣府城隍廟至今已歷時300餘年，歷經多次修建。最早的整修紀錄在康熙32年(公元1693年)，亦是出現該廟名稱的最早文獻紀錄。廟前原有寬廣的廟埕，明治40年(公元1907年)實施市區改正，劃為道路用地，即今青年路；民國71年(公元1982年)，廟前青年路拓寬為15公尺的道路，廟埕消失殆盡，使得前殿緊臨道路，成為臨衝的廟宇。民國86年(公元1997年)內政部和市政府全額補助重修臺灣府城隍廟，於民國88年(西元1999年)落成，成就今日所見之府城隍廟。目前的平面配置為二開間的三殿兩廂房形式。除了大格局的整修，寺廟內的細部內容亦蘊含歷史痕跡，從中央大門入口抬頭仰望，可見高懸於三川殿上由廖雨亭題於昭和12年(公元1937年)的名匾「爾來了」；進了大門回首仰望，又見信徒陳江山(1899-1976)於同年奉獻的碩大算盤高掛於門楣上方，與匾額對望；亦有清領時期咸豐11年(公元1861年)臺灣府知府洪毓琛(1813-1863)所獻之「福佑善良」匾額，以及光緒16年(公元1890年)臺南府知府方祖蔭(生卒年不詳)所獻的「彰瘅風聲」匾額，從中可窺見所屬轄區的轉變。目前廟內仍存有多件早年遺存的供器，如乾隆年間石香爐、鉎鐵金爐與錫質五賽。
臺灣府城隍廟於民國74年(公元1985年)經指定為臺閩地區第2級古蹟，民國94年(公元2005年)文資法修法後升格為國定古蹟。
臺灣府城隍廟代表陰間的「府衙」，其建築規模與臺灣傳統廟宇相較更為宏大且氣派十足。就廟宇整體空間觀之，格局為三殿兩護龍，座北朝南。殿堂三進由前而後分別為山門、正殿、後後殿，山門與正殿之間建有1座川堂拜亭，東西兩護龍面闊八間。正殿屋頂為單脊燕尾造型，脊上綴有雙龍寶塔剪粘裝飾;後殿則採造型簡單的單脊馬背式，僅中段以金錢花磚裝飾。
既然身為「陰間」的府衙，不同於一般廟宇空間強調寬敞明亮，建物刻意低矮、空間左右封閉，進身極長，以壓迫感營造出神秘肅穆的氣氛。正殿為主要祭祀空間，為配合城隍神格所代表的形像，在建築上避免輕佻奢華的精巧裝飾。同時建造時將正殿後金柱併為神龕架柱，以省略後步柱，將原縱橫4柱列減為12柱式的規模；後殿因缺少檐柱，採二列四排、共8柱，呈現出恢弘莊嚴但簡潔的建築形制。另有拜亭連接山門與正殿，由4柱獨立組構而成，又可稱之為「四腳亭」，除拜亭的兩側狹窄的天井可以採光可看出區隔性外，山門與正殿幾乎已成為一體。拜亭由4柱及6架屋楹所組構而成。柱身採接柱的型態，下段柱身及柱珠皆飾以磨石子，柱間五界大通樑及三界二通樑上並置象斗座，其上層疊二斗承雙脊桁，而為捲棚的形式，為該廟大木作上主要的特色所在。
建築規模的宏大，也反映出臺灣府城隍廟在所祀神祇上的多樣性。主祀神為府城隍威靈公，另配祀有城隍夫人、觀音菩薩、地藏菩薩、註生娘娘、天上聖母、福德正神、月下老人、十八羅漢、文武判官、范謝將軍、甘柳將軍、二十四司、門神等。「二十四司」是城隍爺的下屬，傳說為仿造古時候官制吏、戶、禮、兵、刑、工等6部，而在其下又各分為4司，總計24司。而臺灣府城隍廟的二十四司，特色為神像頭部可以轉動，極為特殊，在地人士認為其中地獄司與速報司像貌最為威武，考功司與學政司香火最為鼎盛。
除了建物整體格局與外部設計，府城隍廟內各種細部亦在在強烈傳達臺灣府城隍廟懾人的氣氛：踏進府城隍廟三川殿，府城三大名匾之一、黑底金字的「爾來了」(其餘為天壇的「一」、竹溪寺的「了然世界」)迎門高懸，回首仰望則有據稱全臺最大的算盤相互輝映，有眾生終究在此清算善惡之意。左右山牆、龍門、虎門也各題有警世箴言。值得一提的是，兩側邊門上繪門神，是人稱「麗水師」潘麗水(1914-1995)的作品。門神為4位朝官，4位朝官手中分持冠、鹿、爵、牡丹，代表加官晉祿、晉爵富貴，並又各持1件如意，代表事事如意。
臺灣府城隍廟正殿後牆上有「水車垛」。此處水車垛左右兩方皆飾有虎型樣式的泥塑，垛仁部分則有泥塑彩畫。
踏進臺灣府城隍廟三川殿，映入眼簾的府城三大名匾之一「爾來了」匾額，黑底金字、迎門高懸。
石獅左為雄獅，右為母獅，母獅腳下抱著小獅子，2隻石獅有求子涵意。石獅櫃臺雕飾琴與棋，呼應左、右護龍山牆面的鵝頭墬泥塑書與畫。