Zamek nie ucierpiał w trakcie pierwszego potopu szwedzkiego. W 1660 r. starosta Michał Jordan wzmocnił mury warowni, jednak podczas drugiej inwazji Szwedów w 1702 roku zamek został zniszczony i odtąd zaczął podupadać. W XIX w. zaczęto go stopniowo rozbierać. Dopiero po 1901 roku przeprowadzono tutaj pierwsze prace zabezpieczające. W 1960 roku za sprawą nauczyciela Władysława Kowalskiego (późniejszego kustosza) rozpoczęto na wzgórzu zamkowym prace wykopaliskowe.
Po wielu latach prac odrestaurowano i odbudowano część zamku. Powstało tutaj muzeum PTTK.