1827. aastal ostis krahv Carl Magnus De la Gardie valminud lossi koos pargiga, mida hakati nimetama Krahviaiaks. De la Gardie toetas ka Haapsalu esimese mudaravila rajamist. Tema lossis käisid suviti puhkamas paljud Vene keisririigi tähtsad tegelased, sh keiserlik perekond. Alates Nikolai I valitsemisaja lõpust kuni keisririigi hävimiseni suvitasid Haapsalus ja võtsid siin mudavanne kõik Vene keisrid kuni Nikolai II-ni. De la Gardie loss renoveeriti ja see on alates 2012. aastast kasutusel Läänemaa haigla hooldekoduna.