1395 wurde das alte Schlegler-Schloss zerstört.
Trotz des Namens ist das Gebäude nicht die alte oder wiederaufgebaute Burg der Schlegler. Diese befand sich dort, wo heute das Graevenitzsche Schloss steht. Die Erbauung fällt in die Zeit um 1415 (dendrochronologische Untersuchungen ergaben, dass die ältesten Hölzer 1413 gefällt wurden), als die Herren von Gemmingen die Hälfte der Stadt den Herren von Stein abkauften. Diese waren nach dem Brand von 1395 nicht in der Lage, Burg und Stadt wieder aufzubauen. Das Gebäude wurde als Turmburg, eine späte Vertreterin des Burgentyps errichtet. Als Bauherr wird Dieter von Gemmingen genannt, dessen Wappen sich mehrmals im Haus befindet.
Ursprünglich war das rd. 30 m hohe Gebäude als Wohn- und Wehrburg gebaut, mit einem Umbau als Wehr- und Wachgang sowie mit Erkern auf jeder Ecke des obersten Stockwerkes. Diese Wehranlagen wurden schon 1578, beim Umbau vom Wohngebäude zum Herrschaftlichen Fruchtkasten entfernt. Zu diesem Zeitpunkt war Stadt und Burg ganz in den Besitz des Hauses Württemberg übergegangen.

Auf der Rückseite ist das Gebäude direkt auf die Stadtmauer gesetzt. Betrachtet man aufmerksam das Mauerwerk, so kann man die großen baulichen Veränderungen aus den vergangenen Jahrhunderten erkennen. Auf der Rückseite (über dem früheren Burggraben) sind noch an den Stürzen die zugemauerten Aborterker erkennbar. Durch den Umbau zum herrschaftlichen Fruchtkasten im 16. Jahrhundert wurde die Inneneinteilung des Gebäudes stark verändert und zeigt heute nicht mehr die ursprüngliche Aufteilung.

Das hölzerne Eingangstor stammt aus dem 16. Jh. Rechts und links des Portals die Wappen der Familien Selbach und Gemmingen. Das Fallgitter wurde um 1960 neu gefertigt.

Das Erdgeschoss diente der Versorgung des Gebäudes. Hier waren Stallungen, Heulager, Vorratskeller und Küche untergebracht. Die Mauern sind in diesem Geschoss rd. 1.60 m dick.

Im ersten Obergeschoss gelangt man in die große Wohndiele und durch ein schön gestaltetes Buntsandsteinportal in den Rittersaal. Er war einst in 2 Räume aufgeteilt, in einen Empfangsraum und in das Ar-beitszimmer des Burgherren. An der Rückwand fällt eine Holztür auf. Sie führt in einen kleinen Raum, der multifunktional genutzt worden sein könnte: Ausguck (Bank), Versteck von Wichtigem (Wandschrank) und Abort.

In den beiden darüber liegenden Etagen waren bis zum Umbau zum Fruchtkasten Wohn - und Schlafräume untergebracht. Im 3. OG fällt vor allem der Erker mit Spitzbogenfenstern auf. Früher wurde hier die Burgkapelle vermutet, jedoch bestätigten dies jüngere Untersuchungen nicht. Auf jeden Fall wird schon durch die aufwändige Ausgestaltung der Fenster und Nischen klar, dass dieser Raum wohl eine besondere Bedeutung und Nutzung hatte. Das 4. OG diente ausschließlich der Verteidigung des Gebäudes. Darüber im Dach befinden sich noch 3 Etagen.
Das heutige Dachwerk erhält das Gebäude in der Zeit von 1778 bis 1811. Auch werden zu dieser Zeit Reparaturen durchgeführt.
Um 1860 wurde die Stadtmauer abgebrochen und durch einen Stützkonstruktion aus Strebepfeiler ersetzt.
Ab 1956 wurde das Gebäude durch eine Bürgerinitiative renoviert und ab dann als Kuratorium Schlegler-Schloss geführt.

• Befestigungs- und Verteidigungsanlagen
  • Turmburg

• Ländl./ landwirtschaftl. Bauten/ städtische Nebengeb.
  • Speicher

• Residenz- und Hofhaltungsbauten
  • Schloss

• Dachgerüst Grundsystem
  • Sparrendach, q. geb. mit liegendem Stuhl

• Anlagen für Handel und Wirtschaft
  • Geschäftshaus

• Burganlage
  • allgemein

• Anlagen für Handel und Wirtschaft
  • Geschäftshaus
• Befestigungs- und Verteidigungsanlagen
  • Burg, allgemein
  • Turmburg
• Residenz- und Hofhaltungsbauten
  • Schloss

• Steinbau Mauerwerk
  • hammerrechtes Schichtenmauerwerk
• Dachgerüst Grundsystem
  • Sparrendach, q. geb. mit liegendem Stuhl
• Detail (Ausstattung)
  • bemerkenswerte Feuerstätten
• Gestaltungselemente
  • Zierglieder im Steinbau
• Dachform
  • Satteldach mit beidseitigem Vollwalm
  • Schleppgaube(n)