Bereits seit 1825 waren die Seminaristen des katholischen Lehrerseminars im ehemaligen Gmünder Franziskanerkloster untergebracht. Da bis 1902 die Zahl der „Zöglinge“ im Lehrerseminar auf 105 angewachsen war, machten die räumliche Enge und hygienische Missstände einen Neubau nötig. Zwischen 1903 und 1905 wurde nach den Plänen des königlichen Baurats Albert von Beger ein neues Seminargebäude für das katholische Lehrerseminar am heutigen Standort in der Lessingstraße errichtet. Das 92 Meter lange schlossartige Gebäude wurde im Neorenaissancestil mit barocken und Jugendstilelementen errichtet.
Ab 1905 wohnten die Seminaristen nun in diesem Haus und hatten anfangs nur wenig Kontakt zur Außenwelt. Der Unterricht basierte meist auf Lehrbüchern und Leitfäden. Lerngänge in Biologie, Erdkunde oder Geologie fehlten noch gänzlich. Übungsstunden in den naturwissenschaftlichen Fächern waren nicht vorgesehen.
Das „Pädagogenschlösschen“ wird ein Waisenhaus
Weil 1934 das Evangelische Landeswaisenhaus in Ellwangen für die SS geräumt werden musste, verfügte man kurzerhand die Aufhebung des Gmünder Seminars und verlegte dessen noch vorhandene Klassen an das Lehrerseminar in Rottweil. Ins Gmünder Seminargebäude zogen nun 130 Waisenkinder aus Ellwangen ein.
Zusatzbelegung im Zweiten Weltkrieg
Nach dem Großangriff auf Stuttgart im Juli 1944 wurden 40 Schwerverletzte im Erdgeschoss untergebracht. Von Oktober 1944 bis April 1945 kamen die Soldaten einer Panzerabwehr-Kompanie hinzu. Anfang 1945 wurden weitere 100 Personen, Obdachlose und Vertriebene, im Festsaal untergebracht. Die Gänge des Untergeschosses dienten für die fast 300 Hausbewohner als Luftschutzräume.
Ab 1946 wurden in dem Gebäude, in dem immer noch die Waisenkinder lebten, wieder Lehrer ausgebildet. Der erste Kurs startete mit 56 angehenden Lehrerinnen und Lehrern. 1953 beschloss das Kultusministerium, das Landeswaisenhaus von Gmünd nach Esslingen zu verlegen. Von 1953 bis 1957 erfolgte der Umzug nach Esslingen „auf Raten“.
Die Lehrerausbildung kehrt zurück
Das ganze Gebäude stand nun dem Pädagogischen Institut zur Verfügung. 1962 wurde dieses zur Pädagogischen Hochschule erhoben. 1975 war die Zahl der PH-Studenten auf fast 1.600 angewachsen, so dass die Lehrerausbildung in den Neubau auf den Hardt verlegt werden musste. Der Umzug erfolgte über mehrere Jahre, lediglich das Fach Musik verblieb bis heute – auch wegen der Orgeln im Festsaal und in der Kapelle.
Anfang der 1980er-Jahre erfolgte eine grundlegende Reform der Lehrerbildung durch die Einführung einer eigenständigen zweiten Phase im Anschluss an das erste Staatsexamen. 1981 wurde daher im Westflügel das GHS-Seminar untergebracht, ab 1984 gefolgt vom Realschullehrerseminar. In die frei gewordenen Räume im Obergeschoss zog das Staatliche Schulamt ein und blieb bis zur Verwaltungsreform 2005.
Heute ist der Ostflügel des denkmalgeschützten Gebäudes durch das Polizeirevier Schwäbisch Gmünd belegt.