Westlich von Potsdam ist der Pfingstberg die höchste Erhebung. So ist er ideal für ein Schloss, das vor allem der schönen Aussicht dienen soll. Friedrich Wilhelm IV., der Romantiker auf dem Thron, war nicht der erste mit dieser Idee, aber derjenige, der sie umsetzte.

Nach Entwurfszeichnungen von des Königs eigener Hand realisierten 1847 bis 1863 die Architekten Ludwig Persius, Friedrich August Stüler und Ludwig Ferdinand Hesse den Bau, der stark an italienische Renaissance-Landhäuser erinnert, vor allem an das Casino der Villa Farnese bei Rom. Peter Joseph Lenné gestaltete die umgebende Landschaft.

Das Belvedere bietet von seinen Türmen eine großartige Aussicht über Potsdam und die Schlösser und Gärten im Park Sanssouci, im Neuen Garten, auf der Pfaueninsel genauso wie in die Weite der Landschaft. Zugleich ist das Belvedere aber auch Blickpunkt von unzähligen Orten in der Potsdamer Gärtenlandschaft.

Das Wasserbecken im Hof wird vom Pumpenhaus der Meierei im Neuen Garten gespeist und dient bis heute als Hochbehälter für die Wasserspiele im Neuen Garten.

Am Fuße des Belvedere findet sich ein Tempel, der nach der römischen Göttin der Früchte, Pomona, benannt ist und vor allem als Teepavillon genutzt wurde. 1800 erbaut, ist es der erste Bau des damals 19jährigen und noch gänzlich unbekannten Karl Friedrich Schinkel.

Während der deutschen Teilung wurde das Gebäude gesperrt, da von dort aus Blicke nach West-Berlin möglich waren, sodass das Schloss langsam zu verfallen drohte. 1987 gründeten Potsdamer Bürgerinnen und Bürger eine Initiative zur Rettung des Pfingstbergs. Ihnen ist der Erhalt des Gebäudes wesentlich zu verdanken. 1990 entstand daraus der Förderverein Pfingstberg in Potsdam e.V., der das Belvedere heute betreibt. Daher ist mit der Mitgliedskarte der Freunde kein freier Eintritt in das Belvedere möglich.