Усадьба строилась по заказу Никиты Никитича Демидова, внука Никиты Демидовича (Антуфьея) в 1757 году. Расположена в центральной части Кыштыма на возвышенном берегу заводского пруда рядом с Верхнекыштымским железоделательным заводом (ныне Кыштымское машиностроительное объединение). Усадебный комплекс занимает прямоугольный в плане участок, вытянутый с востока на запад.

Архитектурный ансамбль усадьбы составляют главный дом, два флигеля с башнями, сад и парк, ограда с воротами. Все постройки выполнены из дикого камня и кирпича, оштукатурены.

Строительство усадьбы, по всей видимости, выполнено по проекту Матвея Казакова, который много строил для Демидовых. Каменное здание было выполнено в стиле барокко и имело в высоту два этажа.

В 1809 году заводы купил купец Л.И. Расторгуев. Он перестроил главное здание усадьбы в стиле классицизма. Для реконструкции здания был приглашён архитектор М.П. Малахов. Он переделал обращённый во внутренний двор фасад главного здания. Главный фасад дома был украшен четырёхколонным портиком коринфского ордера на стройной аркаде. По этому проекту здание подросло на один этаж и раздалось вширь.

Заканчивалась реконструкция при Г.Ф. Зотове, которого за жестокость прозвали «Кыштымским зверем». Позже его судили за расправы над рабочими и отправили в пожизненную ссылку. После реконструкции здание внешне стало напоминать усадьбу Расторгуева-Харитонова в Екатеринбурге.

Здесь размещалось Главное управление Кыштымского горного округа. Тут останавливался во время своих визитов заводовладелец, здесь жили семьи управляющих.

В конце XIX века в усадьбе управляющий Кыштымским горным округом П.М. Карпинский создал музей, где собирались коллекции минералов, руд, а также художественного литья. В 1899 году во время своей поездки по Уралу музей посетил Д.И. Менделеев. Он очень восхищался произведениями художественного литья, выставленными в музее.

После 1917 года в главном здании усадьбы размещалось ремесленное училище, школа медсестёр. В годы Великой Отечественной войны здесь размещался эвакуированный из Ленинграда педагогический институт им. Герцена и эвакуированные из Солнечногорска курсы «Выстрел».

В 1979 году в главное здание усадьбы вернули музей. В 1995 году усадьбе присвоен статус памятника федерального значения. В том же году был проведён конкурс на лучшую эмблему города. Победил проект Ольги Сониной. Он послужил основой для создания герба. Усадьба «Белый дом» стала символом города Кыштым и изображена на его гербе и флаге.

С 1995 года дом закрыт на реконструкцию. В 2015 году было объявлено, что реставрация продолжится с привлечением средств частного инвестора, который «проведет реставрацию усадебного комплекса, после чего в нем заработают гостиница, ресторан и музей».

В 2020 году администрация Кыштымского городского округа объявила о том, что начинается подготовка повторного проекта реконструкции.

В июле 2022 года, после прохождения государственной экспертизы, проект реконструкции здания получил положительное решение, подрядчиком стала строительная компания из Санкт-Петербурга.

На сегодняшний день комплекс включает:
- Главный дом - объект культурного наследия федерального значения «Дом жилой» («Белый дом»), Указ Президента Российской Федерации от 20.02.1995 г. № 176 (г. Кыштым, пл. Карла Маркса, 2);
- Южный флигель, северный флигель, ограда с воротами, парк и сад – объект культурного наследия регионального значения «Ансамбль усадьбы домовладельца «Белый дом». Решение исполнительного комитета Челябинского областного Совета депутатов трудящихся от 30.03.1971 г. № 154 (г. Кыштым, пл. Карла Маркса, 2, ул. Кооперативная, 2).

Уникальность усадьбы «Белый дом» в том, что это единственная усадьба-завод и единственный особняк дворцового типа, которые сохранились в Челябинской области.