Дворец был построен в 1848 году для богатого таганрогского купца Николая Дмитриевича Алфераки. Автор проекта — архитектор Андреас Штакеншнейдер, один из ведущих мастеров русского классицизма, работавший для императорского двора.
Здание сразу стало архитектурной доминантой города: двухэтажный особняк с парадным портиком, балконом и богато украшенными интерьерами. Внутри находились залы для приёмов, музыкальные комнаты, библиотека и коллекции редкостей.
После революции дворец был национализирован. В разные годы здесь размещались учреждения, а с 1927 года — музей. В 1960‑е годы здание пережило масштабную реставрацию, вернувшую ему исторический облик. Сегодня дворец входит в структуру Таганрогского музея‑заповедника.
Сегодня дворец — один из главных культурных центров Таганрога. В его залах проходят выставки, концерты, лекции, музейные программы. Постоянная экспозиция посвящена истории города XIX века: здесь можно увидеть мебель, предметы быта, картины, документы и редкие коллекции, связанные с жизнью купеческого Таганрога.
Интерьеры восстановлены с особой тщательностью: высокие потолки, лепнина, зеркала, паркетные узоры — всё это создаёт атмосферу парадного дома середины XIX века. Дворец часто становится площадкой для камерных концертов и культурных событий, а его фасад — одним из самых фотографируемых в городе.
Дворец часто называют «визитной карточкой» исторического Таганрога благодаря его эффектному фасаду.
