Karl Friedrich Schinkel gestaltete ab 1824 mit einfachsten Mitteln das bestehende Herrenhaus zu einer Villa um. Prinz Carl wollte hier mit seiner Familie ohne jede Art der Repräsentation in schlichter Vornehmheit leben. In den späteren Bauphasen während des aufkommenden Historismus zeigt sich der Wunsch nach mehr dekorativen Elementen.

Der Sitz des Prinzen Carl (1801–1883), drittgeborener Sohn von König Friedrich Wilhelm III., spiegelt die Sehnsucht der preußischen Prinzen nach südlicher Sonne und Lebensart. Und er ist ein Zeugnis vom königlichen Sammelfleiß, wie die antiken Skulpturen und Bauteile im Innenhof des Schlosses zeigen.

Parallel mit Schinkel war es Gartenbaudirektor Peter Joseph Lenné, der für den Prinzen Carl die gärtnerische Fassung gestaltete. Bis ins Detail wurden Anhöhen, Brunnen, Teeplätze und die berühmten Sichtachsen in die Potsdamer Kulturlandschaft komponiert. Kurios im sogegannten Pleasureground um das Schloss sind die Große Neugierde an der Glienicker Brücke, wo die prinzliche Familie den Zug der Vorbeifahrenden beobachtete, oder der Klosterhof, wo Prinz Karl seiner Sammelleidenschaft für mittelalterliche Skulpturen frönte und sein Frühstück einnahm.

Im anschließenden Landschaftspark bis weit zur Pfaueninsel sind es insgesamt zwanzig Gebäude, Brücken, Tore sowie die Drives, kleine Wege und Wasserläufe, die das Landanwesen im mediterranen Stil bis heute als kunsthistorisch herausragendes Gefüge einer gestalteten Kulturlandschaft so einzigartig machen.
Schloss und Garten waren lange Zeit im Besitz einer Hohenzollern-Nebenlinie, bevor sie 1939 an die Stadt Berlin und später an die Schlösserverwaltung gelangten. Besonders nach 1989 wurden mit Hilfe der Freunde zahlreiche der verlorenen Interieurs im Schloss mit Ankäufen und Nachkäufen rekonstruiert. Ebenso ermöglichten die Freunde die Restaurierung der Spolien im Innenhof des Schlosses und anderer Antiken sowie die Restaurierung der vergoldeten Greifen am Johannitertor und von antiken Skulpturen am Casino, wie dem Asklepios und eines antiken Torsos, sowie die Rekonstruktion zweier Faun-und-Panther-Gruppen im Gartenhof.