白宫的设计者-詹姆斯·霍班，是爱尔兰的罗马天主教徒，早年在家乡学习建筑，于1780年获得了著名的莱恩斯特公爵勋章。
霍班在1785年移民到美国，费城成为建筑师，当时设计了许多建筑，其中包括查尔斯顿县法院大楼等。乔治·华盛顿总统对霍班的作品非常钦佩。
1792年，华盛顿和托马斯·杰斐逊两位总统共同组织了一场竞赛，以决定谁来建造总统住所。最终，詹姆斯·霍本的设计从九个方案中脱颖而出，据说他只花了20天就画出了设计图。
白宫的大规模施工从1793年开始，霍班亲自担任施工建筑师，他对工程质量要求非常苛刻，建材来自美国各著名产地。因为施工期长，以致首任总统华盛顿并没有在白宫住过。
白宫建成后，立即成为城市的焦点，并通过宾夕法尼亚大道与美国国会大厦相连。杰斐逊在1801年3月就职总统后，为了彰显共和党亲民的姿态，白宫每天上午都对外开放，这一习惯也被杰斐逊的继任者所沿用。
然而不幸的是，美国在独立战争后，摆脱了英国的殖民统治，实力不断增强，这是英国不希望看到的，于是在贸易、政治和军事等诸多方面对美国进行压制。
最终，于1812年6月爆发了“第二次美英战争”，英军于1814年8月攻占华盛顿，并放火焚烧了白宫。
后来霍本不得不再次设计和建造它， 为了遮盖被焚烧的痕迹，不得不用白色涂料粉饰墙壁，使得这座建筑整体呈现白色，因此得名白宫。
特别的是，在19世纪，白宫成为美国民主的象征。在美国人的心目中，它不是总统统治的宫殿，而是总统为人民服务的临时办公室和住所，它于人民。
因此总统在选举失利或被弹劾下台后必须要离开白宫。而白宫被焚烧，是美国历史上的“国耻”，让很多美国人至今无法释怀。