Die Schlossgärten Für die Spätphase des Schlosses ist die Existenz zweier Gärten direkt auf dem Kernburgplateau überliefert. Ein Garten (Gemüsegarten) befand sich östlich zwischen dem Schlossgebäude und der Plateaukante, an der einstmals die Ostmauer verlief. Ein weiterer Garten (Tiergarten) befand sich am w. Rand des Kernburgplateaus, aber bereits außerhalb der Kernburgmauer in der Ecke, die das Ofenhaus mit der Wagenremise bildete.

Ab 1837 wurde das Schloß zusammen mit der Zehntscheuer, die sich auf dem Vorburgplateau befand für den Abbruch freigegeben. Das anfallende Baumaterial wurde an Interessenten aus der näheren Umgebung verkauft und unter anderem zum Neubau der Kirche in Roggenzell verwendet. Ab 1913 begann man sich dann im Ort des historischen Erbes auf dem Burgberg bewusst zu werden. Erste Instandsetzungs-und Erhaltungsarbeiten an der Ruine des Burgfrieds wurden durchgeführt. Ein erster Holztreppenturm wurde ein- und die Bergfriedruine zur Aussichtsplattform ausgebaut. 1934 und 1962 erfolgten weitere grundlegende Sanierungen; die letzte wurde im Jahr 1997 abgeschlossen.

Mit dem staufischen Reichsministerialen Heinrich von Ravensburg beginnt zum Ende des 13. Jh. die Herrschaft Neuravensburg nachweisbar zu werden. Nach derzeitigem Forschungsstand nutzte der hohe Reichsministeriale Heinrich von Ravensburg wahrscheinlich die Zeit des Interregnums (ca. 1250 – 1273) um die Herrschaft Neuravensburg dem Anspruch der Staufer und ihrer Nachfolger und Erben zu entreißen und als neue, eigene Herrschaft zu etablieren. Mit der Änderung seines Namens von Heinrich von Ravensburg in Heinrich von Neuravensburg sowie mit der Gründung einer Stadt im Schatten seiner Burg untermauerte er seinen Herrschaftsanspruch. Um nicht Gefahr zu laufen, seine usurpierte Herrschaft nach einem etwaigen Wiedererstarken der staufischen Herrschaft oder durch ein nachfolgendes Kaisergeschlecht wieder zu verlieren, wird Heinrich von N. die Herrschaft Neuravensburg dem Abt des Klosters St. Gallen, Berchtold von Falkenstein (1244–72) übereignet haben, um sie umgehend als Lehen wieder zurück zu erhalten. Spätestens mit dem Tod des kinderlos gebliebenen Heinrich von Neuravensburg um 1270 fiel die Herrschaft Neuravensburg an das Kloster St. Gallen und schloss damit die Lücke zwischen den umliegenden Gütern Roggenzell und Schwarzenbach, die bereits zum Kloster gehörten. Bei einer Fehde zwischen den Grafen Rudolf II. von Montfort und dem stammverwandten Hugo III. von Werdenberg wurde das Städtchen Neuravensburg 1271 von Montforter Truppen eingenommen und niedergebrannt, da sich Abt Berchtold von Falkenstein auf Grund einer eigenen Auseinandersetzung mit dem Montforter auf die Seite von Werdenbergs gestellte hatte. 1586 erfolgte unter Abt Joachim Opser (1577–94) der Verkauf der Herrschaft Neuravensburg an die Stadt Wangen.

Bereits der Nachfolger im Amt des Abtes, Bernhard Müller (1594–1630) klagte 1604 gegen den Verkauf vor dem Kammergericht zu Speyer, unter anderem mit den Begründungen, dass der Kaufpreis zu niedrig gewesen sei und dass für den Verkauf der Patronatsrechte und des Zehnten eine päpstliche Zustimmung hätte vorliegen müssen. Nach vier Jahren endete das Verfahren mit einem Vergleich, in dem das Kloster einerseits die Herrschaft Neuravensburg zurück erhielt.

Nachdem Neuravensburg im Jahr 1608 wieder an St. Gallen gefallen war, ließ Fürstabt Bernhard Müller von 1613 bis 1617 die heruntergekommene Burg Neuravensburg zum repräsentativen Schloss ausbauen. Den 30j. Krieg überstand Schloss Neuravensburg im Gegensatz zu einigen umliegenden Weilern, wie Schwarzenbach, weitestgehend unbeschadet. Ein Konflikt des Fürstabts Leodegar Bürgisser (1696–1717) mit seinen seit der Schweizer Reformation protestantischen Untertanen der Grafschaft Toggenburg führte 1712 zum Toggenburger Krieg. In dessen Verlauf musste Leodegar Bürgisser mit dem Großteil seines Konvents vor den gegnerischen Truppen nach Neuravensburg fliehen und blieb dort bis zu seinem Tod. Im Jahr 1767 wurde Beda von Angehrn (1767–96) zum Abt des Klosters St. Gallen gewählt. Seine Regierungszeit war geprägt von einem großzügigen aber auch selbstherrlichen Verwaltungsstil. Nutznießer der großzügigen Investitionen war unter anderem die Herrschaft Neuravensburg. Hier wurden in Schwarzenbach und Roggenzell Schulen gebaut, die Fischzucht modernisiert sowie die beiden beim Sommerhochwasser 1789 zerstörten Argenbrücken durch hochwertige und bis heute erhaltene Neubauten ersetzt.

Im Februar 1803, wurde unter französischer Herrschaft die Herauslösung Neuravensburgs aus dem klösterlichen Besitz und seine Übereignung als Lehen an Fürst Johann von Dietrichstein als Ausgleich für den Verlust der an die Helvetische Republik abgetretenen Herrschaft Tarasp in Graubünden beschlossen. Da Tarasp österreichisches Lehen an Fürst von Dietrichstein gewesen war, wurde die entsprechende österreichische territoriale Hoheit auf die Herrschaft Neuravensburg übertragen. Nach der verlorenen Schlacht bei Austerlitz 1805 wurde Österreich zu weiträumigen Gebietsabtretungen gezwungen. Dabei fiel die Herrschaft Neuravensburg an das Königreich Württemberg. 1829 verkaufte der Sohn von Johann von Dietrichstein, Franz Joseph von Dietrichstein den Besitz an der Herrschaft und den Gebäuden der Neuravensburg an das Königreich Württemberg.

1836 wurden die Gebäude auf Abriss an Wangener Bürger weiterverkauft. Bis 1845 waren, abgesehen vom Bergfried, der sich dem Abriss „widersetzte“, alle anderen Schlossgebäude sowie die ehemalige Zehntscheune verschwunden.