擇賢堂是於清光緒5年（公元1879年），由黃昌泰、葉昌貞、古昌端（生卒年皆不詳）3人與其他信徒共同集資3百銀元購入3棟家屋建立的。擇賢堂是齋教的先天派的齋堂（齋教會眾的聚會所以及法事舉行場所），也是另1間齋堂報恩堂的分堂。
先天派創立於清康熙年間（公元1662年至公元1722年），而在清咸豐11年（公元1861年）時傳入臺灣。林金祖（亦稱為林金元）指派黃昌成於嘉義以南傳教、李昌晋在嘉義以北傳教，同年黃昌成即在現今臺南醫院處設立報恩堂。依據大部分的記載說明，因為報恩堂信眾信眾逐漸增多而不堪使用，於是清光緒5年（公元1879年）在葉昌貞、黃昌泰、古昌端3人的主導，以及眾齋友的幫助之下另外興建了擇賢堂。在葉昌貞擔任第1代堂主期間，擇賢堂初創而經濟困窘，信眾漸增後募資重建即為首要目標。第2代堂主黃昌泰精通漢藥，曾教導信眾親手製作膏藥及香燭並帶到外地販售，累積的資金不僅用於堂內開銷，盈餘尚能購得土地數塊，並在當時報恩堂堂主溫昌賢急需金錢時，給予借貸周轉，可見經濟情況已大為改善。第3代堂主古昌端，於昭和3年（公元1928年）發起重建，共募得9674元，完成重修並奠定今日擇賢堂的基礎。此次改建時的捐款人大多是美濃、屏東內埔、萬巒、麟洛、高樹、新埤一帶的客家人，這些人士大都在日大正14年至日昭和1年間（公元1925~1926年間）左右受度加入，且與堂主古昌端同為美濃和六堆附近的客家人。
在二戰之後不久，擇賢堂曾經在第4任堂主古昌新任內再次整修屋頂；民國40年（公元1951年）時古昌新辭世，同年由吳昌素發起重修堂宇，而民國52年（公元1963年）時又提議重新油漆擇賢堂。民國75年（公元1986年）左右，擇賢堂又決定將長年使用的老舊地磚，替換成今日所見的白色尺磚樣式。同時，亦變更了檐廊和拜亭的洗石子鋪面，和更換了護龍的地坪。而在民國93年（公元2004年）時又針對山門、拜亭、左、右護龍、簷廊、正殿加以修整，終成為今日的「擇賢堂」。
擇賢堂另一個特色是有「客家人廟」的別稱。據悉，民國50年（公元1961年）之前，擇賢堂的信徒大多是六堆客家人士，禮佛儀式多遵循客家規則，也常在儀式時穿著美濃客家藍衫，又許多旅經臺南的六堆客家人士會在此寄宿、寄食，因而也有人稱擇賢堂為「客家人廟」。
擇賢堂位於市中心繁華街區巷弄中，以牆院圍起。構造上，與其他齋堂磚木合造的混合式構造不同，擇賢堂是15架楹承重牆式的建築形式：明間和次間的構造體皆採以牆身來支撐屋頂的承重牆方式，並且在中開1個圓形洞門，連通正殿與左右二側殿。而其兩側護龍外觀與民宅無異，立面為二開間形式，主要入口由外側開間進入。除了入口處的小木作隔扇門較為繁複之外，整體造型簡單且樸素，實如一般民家。
從外觀來看，擇賢堂與家屋相差不大，屋脊和一般民宅相似，一樣鋪上紅瓦。與佛、道教寺廟相較，齋堂往往顯得相當樸素，這不僅是因為明清時期嚴令禁止齋教，齋堂需要隱匿於民宅之中，同時也因為齋教不強調脫離世俗生活，往往直接設於堂主住處以方便共辦佛事與傳教。
在空間格局方面，擇賢堂與傳統的三合院民宅極為相似，為一正身加上兩側護龍的形式。此外，正殿的左後方是可提供住宿的2層樓現代建築，再加上右後方另1個獨立使用的三合院民宅，就組成了擇賢堂。結構細節方面，擇賢堂前迎賓的第1道門，也就是山門，是由硬山屋頂與山牆(突出的裝飾性牆面)構成，硬山屋頂指屋頂前後有兩斜坡，側面直接與山牆密接的一種建屋方式。山門上方還有書寫著「擇賢堂」三字的匾額，而兩旁是比人略高的圍牆。此外，擇賢堂最外為一懸山式（桁樑自山牆上伸出，而屋簷直接覆蓋在山牆上）建築形式，馬脊墀頭（屋簷和牆身連接處的裝飾），屋脊小脊收頭（山牆兩側裝飾性柱子頂端的形式稱為「收頭」）；而中開大門，門上有「擇處祇園，賢名覺路」1聯。另，擇賢堂為紅瓦頂、中脊上有花鳥的剪黏裝飾。另外，在建築構件中比較特別的是：雕琢精緻和造型炯炯有神的鰲魚雀替（置於樑與柱交點下方 L型角落處，具穩定兼裝飾作用的單元構件），還有二通（棟架上前後橫向連通的樑材，由上而下數來的第2根）下方的雀替。
而從內部空間來看，正堂為齋堂中最重要的部分，也是整體建築的中心與焦點。不論其他部分型制如何，正堂的空間配置都是固定的。擇賢堂的正堂不算寬大，有四柱式的捲棚拜亭，做為堂內與堂外的空間延續。主要的供佛空間則是由兩邊的護龍以及中間的正堂組成，加上一般廟宇中常見的拜亭便組成了標準三合院格局。正堂左右次間同為「七祖廳」，同時本殿再區分前後：牌樓面前方為信眾活動的空間，後方則是供奉神佛的神龕。
擇賢堂主祀觀世音菩薩，供奉在神龕中間；若依照先天派的作法，長案正中間應當安置1盞「老母燈」，代表先天派最高層次「無生老母」，且燈火終年不熄，意味著性命長久。同時前方安置與老母燈相應的淨水瓶，2者並存象徵「水火既濟」。不過因為齋教空門化（佛教化），今日已經無法得見。此外，擇賢堂中的木匾、匾額、供桌，以及內部雕刻彩繪的作品，製作年代多為昭和年間。
擇賢堂主祀觀世音菩薩，供奉在神龕中間。擇賢堂中的木匾、匾額、供桌，以及內部雕刻彩繪的作品，製作年代多為昭和年間。
擇賢堂的正堂前有四柱式的捲棚拜亭，做為堂內與堂外的空間延續，構架間雕琢精緻且有造型炯炯有神的鰲魚雀替。