Das Schloss früher
Im Schmalkaldischen Krieg von 1547 wurde die Wiesenburg und das Schloss zerstört und anschließend durch Friedrich III Brandt von Lindau wiedererrichtet. Noch heute trägt ein Portal im Schlosshof das Wappen Friedrichs und der Familie seiner Frau. Durch ihn entstand der Vorschloss-bereich mit dem Männekentor und dem Torhaus, das damals einen völlig schmucklosen Giebel erhielt.
Sein Sohn Benno Friedrich ließ das Schloss weiter ausbauen. 1651 gab es u. a. eine Bischofsstube, eine Brautstube, eine Schulstube und eine Kurfürstenstube. Auch war 1609 das Brunnenhäuschen mit kupferbeschlagenem Dach auf dem Schlosshof entstanden, ehe im Dreißigjährigen Krieg ein großer Teil zerstört wurde.
1730 wurde dann unter Adam Friedrich Brandt von Lindau insbesondere der Westflügel des Schlosses umgebaut. Mit seinem Tode und der Heirat seiner Tochter endete die Ära der Brandt von Lindau.
Die intensivsten Umbauten erlebte das Schloss mit der Herrschaftsübernahme Curt Friedrich Ernst von Watzdorf 1863. In den folgenden 18 Jahren wurde das Schloss gänzlich neu gestaltet. Ausgangspunkt war ein Blitzeinschlag im Turm, der eine Erneuerung erforderte. Der Turm wurde zum Aussichtsturm aufgestockt, des weiteren die Südfassade versetzt und die Fassade im Stil der Neorenaissance gestaltet.
Baumeister waren Dr. Oskar Mothes aus Dresden und Carl Hense aus Berlin. Die auf dem Schlosshof bis 1957 existierenden riesigen Kastanien müssen dem Schlosshof einen ganz besonderen Charme gegeben haben. Sie wurden durch geschnittene Linden ersetzt.