В эпоху промышленной революции в конце XIX века американская элита переживала «золотой век» изобилия и богатства. Но даже с таким нефальшивым богатством, эти капиталистические магнаты оставались отделенными от некоторых социальных центров, которые оставались доступны лишь для «старых» денег. Чтобы противостоять этому вызову, многие из американских миллионеров начали строить свои собственные владения и продемонстрировать свои богатства.

Но избавиться от репутации «нуворишей» было сложной задачей для этих промышленников, чьи деньги не были ни изначально унаследованы, ни старыми. Разговор о баронах-разбойниках, термин, впервые употребленный в статье газеты «Нью-Йорк Таймс» в 1859 году о Корнелиусе Вандербильте, сразу же поймал общественное воображение и вызвал ассоциации с закулисными правительственными переговорами и финансовыми монополиями.
Любое исследование собственности баронов-разбойников обязательно должно начинаться с Корнелиуса Вандербильта, человека, который начал всё это. Вандербильт стал одним из первых инвесторов в железнодорожную индустрию и к 1850-м годам стал самым богатым человеком в Америке. Он был лидером в торговле внутренним водным транспортом, у него были огромные судоходные состояния и значительные доли в растущей железнодорожной системе. На момент его смерти в 1877 году его состояние составляло более 100 миллионов долларов, что в сегодняшних деньгах приравнивается к примерно 3 миллиардам долларов.
После смерти Вандербильта его огромное состояние было унаследовано его детьми и внуками, создавая семью миллионеров. Наибольшую часть состояния Корнелиуса унаследовал его старший сын Уильям Генри, который смог увеличить его на 100 миллионов долларов, благодаря своему бизнесу, перед своей смертью спустя восемь лет.
Большая часть его состояния была разделена между двумя его старшими сыновьями, Корнелиусом II и Уильямом. Корнелиус Вандербильт II, получивший прозвище «любимый ребенок патриарха», решил построить самый большой и роскошный дом в Нью-Йорке.
Он выбрал угол 5-й авеню и 57-й Западной улицы, где сначала пришлось приобрести и разрушить три дома из коричневого камня. Новый дом был спроектирован так, чтобы привлекать внимание и преуспел в этом сразу же. Замок был разработан известным архитектором Джорджем Б. Постом в стиле замка из красного кирпича и известняка.
После завершения строительства в 1883 году Корнелиус нанял лучших мастеров для оформления интерьера. Чтобы сохранить свое социальное положение, Алиса заказала создание семейного герба, который был высечен в камне над входной дверью.
Но чтобы сохранить свое положение в обществе, на фоне застройки вокруг более величественных домов баронов-разбойников, Корнелиус и Алиса расширили свой дом и добавили к нему новые элементы в начале 1890-х годов. Они наняли Ричарда Морриса Ханта и дополнительных строителей, чтобы закончить расширение, которое было завершено в 1893 году и обошлось примерно в 102 миллиона долларов.
Данный особняк Корнелиуса Вандербильта II был символом роскоши и изобилия в то время. В настоящее время он является национальным историческим памятником и также известен как Музей морского исторического общества. Этот впечатляющий дом был одним из первых шагов американской элиты для утверждения своего места в обществе и демонстрации своего богатства.