白衣堂座落於槟岛日落洞路南端，是一幢别致的建筑物，材料是洋灰砖瓦，建筑风格是现代式的马来基脚楼，屋前悬挂着"白衣堂"的楣匾。

　　说起白衣堂的建筑外观，这要追溯到早年这幢房屋的原属。"白衣堂"现址这幢房屋，原是赛伊·薛赫·阿哈迪(Syed Shaykh al-Hady) 所有，他是位回教社会改革志士。他向其姻亲 Syed Ahmad al-Mashhur 购买地段，亲自设计和营建的；赛伊阿末阿玛苏赫是阿拉伯裔大财主，在日落洞有大幅地产，玛苏赫宗教学校的创校人之一。这栋房屋后来在全球经济不景气大风暴来临前夕抵押给仄迪亚(Chettiar) 借贷，结果不能赎回而被没收。

　　房屋后来被转卖给一位佛教白衣，姓邱名金枝。据说这单买卖涉及马来产权问题以致诸多风波，经五年之久的努力，终于於1947年成功获得房屋的地契。邱居士是位诚信观音菩萨的居士，将买下的房屋装潢为佛教道场，供奉观世音菩萨。

　　白衣堂，创立於丁亥年（1947年）十二月初八，当时邱居士在买下房子后就搬迁入驻，跟随她的是几个女儿，长女名邓菊英，当年19岁。1952年，房屋的所有权明朗化，邱居士在获得地契后，便於农历八月十四日举行白衣堂落成礼，当时多位槟城显赫的法师都出席祝贺。

　　1960年，邱居士往生（54岁），白衣堂便由邓居士管理。白衣堂一直都没大肆发展或扩建，只在1987年曾装修过一次。数年来，白衣堂虽没办什么法会，一直都以信奉观音佛门为要，平日导人向上，每逢初一、十五上供，最重要的节日乃观音诞。