择贤堂是于清光绪5年（公元1879年），由黄昌泰、叶昌贞、古昌端（生卒年皆不详）3人与其他信徒共同集资3百银元购入3栋家屋建立的。择贤堂是斋教的先天派的斋堂（斋教会众的聚会所以及法事举行场所），也是另1间斋堂报恩堂的分堂。
先天派创立于清康熙年间（公元1662年至公元1722年），而在清咸丰11年（公元1861年）时传入台湾。林金祖（亦称为林金元）指派黄昌成于嘉义以南传教、李昌晋在嘉义以北传教，同年黄昌成即在现今台南医院处设立报恩堂。依据大部分的记载说明，因为报恩堂信众信众逐渐增多而不堪使用，于是清光绪5年（公元1879年）在叶昌贞、黄昌泰、古昌端3人的主导，以及众斋友的帮助之下另外兴建了择贤堂。在叶昌贞担任第1代堂主期间，择贤堂初创而经济困窘，信众渐增后募资重建即为首要目标。第2代堂主黄昌泰精通汉药，曾教导信众亲手制作膏药及香烛并带到外地贩卖，累积的资金不仅用于堂内开销，盈余尚能购得土地数块，并在当时报恩堂堂主温昌贤急需金钱时，给予借贷周转，可见经济情况已大为改善。第3代堂主古昌端，于昭和3年（公元1928年）发起重建，共募得9674元，完成重修并奠定今日择贤堂的基础。此次改建时的捐款人大多是美浓、屏东内埔、万峦、麟洛、高树、新埤一带的客家人，这些人士大都在日大正14年至日昭和1年间（公元1925~1926年间）左右受度加入，且与堂主古昌端同为美浓和六堆附近的客家人。
在二战之后不久，择贤堂曾经在第4任堂主古昌新任内再次整修屋顶；民国40年（公元1951年）时古昌新辞世，同年由吴昌素发起重修堂宇，而民国52年（公元1963年）时又提议重新油漆择贤堂。民国75年（公元1986年）左右，择贤堂又决定将长年使用的老旧地砖，替换成今日所见的白色尺砖样式。同时，亦变更了檐廊和拜亭的洗石子铺面，和更换了护龙的地坪。而在民国93年（公元2004年）时又针对山门、拜亭、左、右护龙、檐廊、正殿加以修整，终成为今日的「择贤堂」。
择贤堂另一个特色是有「客家人庙」的别称。据悉，民国50年（公元1961年）之前，择贤堂的信徒大多是六堆客家人士，礼佛仪式多遵循客家规则，也常在仪式时穿着美浓客家蓝衫，又许多旅经台南的六堆客家人士会在此寄宿、寄食，因而也有人称择贤堂为「客家人庙」。
择贤堂位于市中心繁华街区巷弄中，以墙院围起。构造上，与其他斋堂砖木合造的混合式构造不同，择贤堂是15架楹承重墙式的建筑形式：明间和次间的构造体皆采以墙身来支撑屋顶的承重墙方式，并且在中开1个圆形洞门，连通正殿与左右二侧殿。而其两侧护龙外观与民宅无异，立面为二开间形式，主要入口由外侧开间进入。除了入口处的小木作隔扇门较为繁复之外，整体造型简单且朴素，实如一般民家。
从外观来看，择贤堂与家屋相差不大，屋脊和一般民宅相似，一样铺上红瓦。与佛、道教寺庙相较，斋堂往往显得相当朴素，这不仅是因为明清时期严令禁止斋教，斋堂需要隐匿于民宅之中，同时也因为斋教不强调脱离世俗生活，往往直接设于堂主住处以方便共办佛事与传教。
在空间格局方面，择贤堂与传统的三合院民宅极为相似，为一正身加上两侧护龙的形式。此外，正殿的左后方是可提供住宿的2层楼现代建筑，再加上右后方另1个独立使用的三合院民宅，就组成了择贤堂。结构细节方面，择贤堂前迎宾的第1道门，也就是山门，是由硬山屋顶与山墙(突出的装饰性墙面)构成，硬山屋顶指屋顶前后有两斜坡，侧面直接与山墙密接的一种建屋方式。山门上方还有书写着「择贤堂」三字的匾额，而两旁是比人略高的围墙。此外，择贤堂最外为一悬山式（桁梁自山墙上伸出，而屋檐直接覆盖在山墙上）建筑形式，马脊墀头（屋檐和墙身连接处的装饰），屋脊小脊收头（山墙两侧装饰性柱子顶端的形式称为「收头」）；而中开大门，门上有「择处祇园，贤名觉路」1联。另，择贤堂为红瓦顶、中脊上有花鸟的剪黏装饰。另外，在建筑构件中比较特别的是：雕琢精致和造型炯炯有神的鳌鱼雀替（置于梁与柱交点下方 L型角落处，具稳定兼装饰作用的单元构件），还有二通（栋架上前后横向连通的梁材，由上而下数来的第2根）下方的雀替。
而从内部空间来看，正堂为斋堂中最重要的部分，也是整体建筑的中心与焦点。不论其他部分型制如何，正堂的空间配置都是固定的。择贤堂的正堂不算宽大，有四柱式的卷棚拜亭，做为堂内与堂外的空间延续。主要的供佛空间则是由两边的护龙以及中间的正堂组成，加上一般庙宇中常见的拜亭便组成了标准三合院格局。正堂左右次间同为「七祖厅」，同时本殿再区分前后：牌楼面前方为信众活动的空间，后方则是供奉神佛的神龛。
择贤堂主祀观世音菩萨，供奉在神龛中间；若依照先天派的作法，长案正中间应当安置1盏「老母灯」，代表先天派最高层次「无生老母」，且灯火终年不熄，意味着性命长久。同时前方安置与老母灯相应的净水瓶，2者并存象征「水火既济」。不过因为斋教空门化（佛教化），今日已经无法得见。此外，择贤堂中的木匾、匾额、供桌，以及内部雕刻彩绘的作品，制作年代多为昭和年间。
择贤堂主祀观世音菩萨，供奉在神龛中间。择贤堂中的木匾、匾额、供桌，以及内部雕刻彩绘的作品，制作年代多为昭和年间。
择贤堂的正堂前有四柱式的卷棚拜亭，做为堂内与堂外的空间延续，构架间雕琢精致且有造型炯炯有神的鳌鱼雀替。