Kreivi Carl Magnus De La Gardie osti linnan vuonna 1827 yhdessä puiston kanssa, jota alettiin kutsua nimellä Krahviaed eli Kreivin puutarha. De la Gardie tuki myös Haapsalun ensimmäisen mutahoitolan rakennusta. Useat Venäjän keisarikunnan tärkeät henkilöt kävivät kesäisin lomailemassa hänen linnassaan, myös keisariperhe. Haapsalussa lomailivat ja ottivat mutakylpyjä Nikolai I:n hallintokauden lopusta aina keisarikunnan tuhoon kaikki Venäjän keisarit Nikolai II:een asti. De la Gardien linna on kunnostettu ja se toimii vuodesta 2012 Läänemaan sairaalan hoitokotina.