Den Grundstein zur Eremitage in Waghäusel legte am 26. September 1724
Damian Hugo Philipp von Schönborn, 1719 – 1743 – Fürstbischof von Speyer.

Bereits 1720 hatte er die Residenz von Speyer nach Bruchsal verlegt und dort mit dem Schlossbau begonnen. Damian Hugo überzog das Hochstift Speyer mit einem Alleesystem, das die neue Residenz Bruchsal mit herrschaftlichen Anlagen wie Schloss Kislau in Bad Schönborn, Altenbürg und die Eremitage in Waghäusel verband und den Wald erschloss. Die Speyerer Fürstbischöfe suchten in ihrer Waghäuseler Eremitage in unmittelbarer Nähe zu Wallfahrtskirche und Kloster sowohl Ruhe für religiöse Übungen wie Entspannung durch die Jagd.

Michael Ludwig Rohrer aus Rastatt, u. a. Hofbaumeister der Markgräfin Sibylla Augusta von Baden-Baden, plante die erste Anlage der Waghäuseler Eremitage, die von 1724-1729 erbaut wurde – ein sechzehneckiger Hauptbau mit acht „Eremitenpavillons“. Stilprägend war das Sommerschloss Marly-le-Roi, geschaffen vom französischen König Ludwig XIV– eine aufgelockerte Bauweise in Form eines von Pavillons umgebenen Hauptbaus. Wohl durch den Würzburger Barockbaumeister Balthasar Neumann angeregt, ließ Fürstbischof Damian Hugo von Schönborn schon 1730 anstelle der kleinen sehr einfachen Eremitenhäuschen vier zweistöckige Kavalierpavillons mit quadratischem Grundriss errichten – „Küchenbau“, „Garde zu Pferd und Fuß“, „Fremdenbau“ und „Cavalierbau“. Im Jahr 1747 beauftragte Fürstbischof Franz Christoph von Hutten seinen Architekten Balthasar Neumann mit einer Erweiterung des Hauptbaus mit vier Flügeln. Die 4 Kavalierhäuser wurden ebenfalls um den hinteren Teil außerhalb der Ringmauer vergrößert.

Mit dem Reichsdeputationshauptschluss 1803 wurde das Hochstift Speyer aufgelöst, dessen rechtsrheinischer Teil mit Waghäusel fiel an den badischen Staat. Im Jahr 1837 kaufte die „Badische Gesellschaft für Zuckerfabrikation“ die rund 13 Hektar große Schlossanlage vom badischen Staat. In den dreißiger Jahren des 19. Jahrhunderts beschäftigte die Zuckerfabrik Waghäusel fast 1000 Mitarbeiter und war damit eine der großen Fabrikanlagen des badischen Raums. Die bis 1995 bestehende Zuckerfabrik Waghäusel verkaufte 1997 das gesamte Gelände inklusive der Eremitage an die Stadt Waghäusel.