Предполагают, что небольшое поселение Гаспра существовало ещё в эпоху Средневековья, а вот известность оно получило только в 19 веке, когда князь Александр Голицын избрал это место для устройства своего имения. Близкий друг Александра I, князь занимал высокие государственные посты: был обер-прокурором Святейшего Синода, министром духовных дел и народного просвещения, членом Российской академии наук, кавалером всех орденов империи.

Уйдя в отставку, Голицын заочно приобретает небольшое поместье в Гаспре, где собирается проводить остаток своих дней. Дворец строился по проекту архитектора Эльсона, первого архитектора Южного берега Крыма. Строительство дворца длилось пять лет, все делалось по чертежам, которые издали одобрял отсутствующий хозяин.

В 1836 году дворец был полностью построен. Его фасад выполнен в готическом стиле, в формах готики выдержаны и парковые строения - беседки, павильоны для отдыха, гроты. Называлось имение Александрия, часто добавляли романтическая Александрия. Всех знакомых, посещавших крымское побережье, князь Голицын приглашал побывать в Гаспре и взглянуть на его будущее прибежище. Во время поездки по Крыму в сентябре 1837 г. замок посетил император Николай I в сопровождении большой свиты, в которую входил поэт В. Жуковский. Все, кому приходилось бывать в Гаспре, с удовольствием рассказывали об оригинальном дворце с двумя зубчатыми башенками, одна башня предполагалась для часов, символа времени, другая - для молитвенного храма, символа вечности.

Все было готово к приему хозяина, но князь Голицын в Гаспру все не ехал, продолжая жить в Петербурге. Только летом 1843 года он приехал в Крым. К сожалению, А.Н. Голицын уже не мог оценить свой дом, красоту окружающей природы. Князь заметно одряхлел и почти ослеп. Спустя год он скончался в своем гаспринском имении.

После князя Голицына имением в Гаспре владели разные представители дворянской аристократии России. В 1836 году оно перешло дворянскому роду Кочубеев, а в 1865 оказалось в руках графини Софьи Паниной. Графиня много занималась делами гаспринского имения. Был капитально отремонтирован дворец, переложены перекрытия башен, наружные стены облицеваны под мозаику гаспринским известняком, крыша украшена марсельской черепицей. Появились новые сооружения: дом управляющего, домик садовника, оранжерея с теплицами и так называемый «флигель у фонтана», предназначенный для проживания гостей.

В 1901 году по приглашению хозяйки в Гаспру, поправить здоровье после тяжелой болезни, приехал Л.Н. Толстой. Современники вспоминают, что великий классик русской литературы радовался красоте Крыма, как ребенок. Совершал многочисленные прогулки в экипаже, а почувствовав себя лучше – и пешком. В те дни Толстой был отлучен «святейшим синодом» от церкви и был под особым наблюдением. Имение графини Паниной было окружено тайными агентами. Гостями Толстого в гаспринском имении были Чехов, Горький, Короленко, Куприн, Скиталец, Шаляпин.

После событий 1917 года имение графини Паниной стало приютом для семьи другого писателя - Владимира Набокова. Набоковы прожили в солнечной Гаспре почти год. Владимир ловил бабочек для своей коллекции в парках южнобережья, на горе Ай-Петри, на Чуфут-Кале близ Бахчисарая. Увлечение бабочками было не единственным. Володя много читал, писал стихи. Поэзия эмигрантской тоски по России началась уже тогда в Гаспре.

В первые годы после революции и Гражданской войны на территории заброшенного имения был организован санаторий для ученых. Здесь отдыхали видные деятели науки Кржижановский, Капица, Иоффе, Ферсман. Академик Ферсман совершал отсюда геологические экскурсии в Гурзуф, на Аю-Даг. После освобождения Крыма от фашистских захватчиков весной 1944 года во дворце базировался полевой госпиталь, позже вновь был открыт санаторий. Название санатория «Ясная поляна» напоминает всем о пребывании в Гаспринском дворце великого писателя Л.Н. Толстого.