Byggeriet af Det Hvide Hus blev indledt i 1792 og afsluttet i 1800, hvor husets første beboer, præsident John Adams, flyttede ind.
Få år forinden var Washington, D.C., blevet udpeget som den nye amerikanske nations hovedstad, og i planerne for den nye by indgik også et “præsidentpalads”, hvor USA’s øverste leder kunne arbejde og bo sammen med sin familie.
Det nye præsidentpalæ fik dog ikke lov til at stå længe. Allerede i 1814 brændte britiske soldater Det Hvide Hus ned under Den Amerikansk-engelske Krig. Tilbage stod en rygende ruin, som bygningens oprindelige arkitekt, irske James Hoban, fik lov til at genbygge i de efterfølgende tre år.