Po rozbiorach Rzeczpospolitej Austriacy zainteresowali się podupadłym zamkiem i w 1778 roku sprzedali go z siedmioma okolicznymi wioskami rodzinie Raczyńskich za 140 tys. złotych reńskich. Po kilku kolejnych transakcjach zamek nabywa książę Poniński, ale już za 560 tys. Majątek opisywano tak: „Zamek na skale, murowany starodawną strukturą, oblany wokół pętlą rzeki Dżuryn, otoczony murami, w niektórych miejscach zrujnowanymi”.