Vorbehaltlich einer intensiven Bauforschung ergibt sich aus der Zusammenschau der verfügbaren Quellen gegenwärtig eine fünfphasige Baugeschichte des Schlossgebäudes:
1. Spätgotik/Renaissance, Ulner Adelshof 15./16. Jahrhundert:
Die erste nachweisbare Bauphase markiert die von Merian an Stelle des späteren Schlossgebäudes dargestellte Baugruppe des Ulner´schen Adelshofs. Sie besteht aus drei additiv entlang der Stadtmauer gruppierten Gebäudeeinheiten mit dem durch eine kleine Freifläche von den nördlichen Nebenbauten abgesetzten Hauptbau im Süden. Die verschiedentlich in den bestehenden Gebäuden verbauten Spolien und Wappensteine markieren maßgebliche Ausbauten in Renaissanceformen um 1564/71. Die verfügbaren Daten deuten auf Elisabeth von Heppenheim als Bauherrin hin.
Die bauhistorische Indizienlage im Keller belegt mit Achsenverschiebungen und einzelnen Befundaufschlüssen die Übernahme maßgeblicher Strukturen der frühneuzeitlichen Vorgängerbebauung. Die Schrägstellung sämtlicher Kellerwände ist deutlich nicht am barocken Grundriss, sondern an der seit dem Neubau nicht mehr relevanten Flucht/Baulinie der Obertorstraße orientiert.
2. Barock, Ulner Schloss um 1725-1780:
Das heute über der Tordurchfahrt an der Obergasse verbaute Allianzwappen deutet auf eine maßgebliche barocke Bauphase für die Zeit um 1725. Ein Großteil der erhaltenen Schlossanlage entspricht in der formalen Ausprägung der Werksteingliederung dieser Zeitstellung.
Über dem Kellersockel erscheint der barocke Baukörper als (fast?) vollständiger Neubau. Mit geringem Aufwand konnten die alten - teilweise sicher unzusammenhängenden - Keller entlang der Mauer durch zusammenfassende Einwölbungen vereinheitlicht und nutzbar gemacht werden.
3. Frühklassizistisch, von Lehrbach´sches Schloss um 1780 - um 1838/46:
Rieger bildet 1787 den frühklassizistischen Bauzustand ab, der in der Literatur vielfach für einen um 1780 errichteten Neubau gehalten wurde. Tatsächlich handelt es sich wohl nur um Anpassungen an den Zeitgeschmack. Maßgebliche Umbauten sind im Inneren des Gebäudes anhand der erhaltenen Stuckierung im Erdgeschoss ablesbar.
4. Spätklassizistisch, von Berckheim´scher Schloss-Pavillon 1838/46-1919:
Es zeigen sich umfassende Veränderung des Schlossgebäudes, die v.a. qualitativ über die bisher angenommenen kleinen Umbauten bzw. den Aufsatz des Kniestocks hinausgehen. Aus dieser Zeit stammen wenigstens die struktive Gliederung der Fassaden durch Werksteinlisenen und der klassizistischen Dreiecksgiebel des Mittelrisaliten. Auch ergibt die erstmals bei Kirchner abgebildete Terrasse zusammen mit dem Sockel die angemessenen Proportionen des Gebäudes. Dadurch erhielt der Baukörper sein heutiges Erscheinungsbild.
5. Moderne Veränderungen ab 1919, Schlosscafé und Rathaus:
Das von der Gräfin Waldner geschaffene Erscheinungsbild des spätklassizistischen Schloss- und Gartenensembles hat bis heute weitgehend unverändert Bestand. Die einzige maßgebliche optische Veränderung der Außenarchitektur betrifft die für das Schlossparkcafé errichtete Terrasse mit massiv auf Stützpfeilern abgetragener Überdachung durch eine Balkonballustrade. Die originale Raumgliederung im Obergeschoss ist seitdem vermutlich vollständig verloren. Weitgehend erhalten blieb das barocke Treppenhaus aus der 1725 errichteten Bauphase.

• Residenz- und Hofhaltungsbauten
  • Schloss

• Gestaltungselemente
  • Zierglieder im Steinbau
• Steinbau Mauerwerk
  • Werkstein

• Gestaltungselemente
  • Zierglieder im Steinbau
• Steinbau Mauerwerk
  • Werkstein
• Detail (Ausstattung)
  • allgemein (kein Eintrag)

• Öffentliche Bauten/ herrschaftliche Einrichtungen
  • Rathaus

• Schlossanlage
  • allgemein

• Residenz- und Hofhaltungsbauten
  • Schloss

• Steinbau Mauerwerk
  • allgemein
• Gewölbe
  • Tonnengewölbe
• Gestaltungselemente
  • Zierglieder im Steinbau
• Detail (Ausstattung)
  • allgemein (kein Eintrag)