До строительства дворца на этом месте находилась дача «Розовый дом», принадлежавшая княгине Анне Сергеевне Голицыной. Позже имением владел винодел Морозов, а в 1880 году его приобрёл князь Феликс Феликсович Юсупов (Сумароков-Эльстон). В 1909 году архитектор Николай Краснов, автор Ливадийского дворца и дворца Дюльбер, перестроил «Розовый дом» в дворец и придал ему современный вид. И уже осенью 1912 года во дворце состоялась помолвка Феликса Юсупова-младшего с племянницей императора Николая II великой княжной Ириной Александровной. Княжеский род Юсуповых был одной из самых богатых и самых влиятельных аристократических семей в Российской империи.

В 1920-х годах дворец был национализирован и попал в ведомство Всесоюзной чрезвычайной комиссии в качестве дома отдыха для её сотрудников (государственная дача №4). В 1925—1926 годах здесь останавливался Феликс Дзержинский. Во время Великой Отечественной войны дворец не пострадал, и в 1945 году во время Ялтинской конференции Юсуповский дворец стал резиденцией советской делегации во главе с Иосифом Виссарионовичем Сталиным. С тех времён здесь сохранились некоторые элементы интерьера, бильярд и письменный стол самого Иосифа Виссарионовича Сталина.

В послевоенный период дворец служил дачей Центрального комитета КПСС, на которой отдыхали многие партийные и государственные деятели Советского Союза и руководители зарубежных коммунистических партий.