W XVI w. zamek zaczął podupadać. W 1588 r. sejm zarządził przeniesienie ksiąg ziemskich z warowni do położonego u jej podnóża chęcińskiego kościoła. W 1607, w czasie Rokoszu Zebrzydowskiego fortyfikacje zostały zniszczone, a zabudowania spalone. Zamek na krótko odzyskał dawną świetność po przebudowie zainicjowanej przez starostę chęcińskiego, Stanisława Branickiego, jednak już w latach 1655–1657 został doszczętnie zniszczony najpierw przez Szwedów, a następnie przez szturm oddziałów Rakoczego. Dzieło zniszczenia dokończyła w 1707 r. kolejna okupacja szwedzka. Wtedy to zamek opuścili ostatni mieszkańcy. Przez następne stulecia średniowieczne mury stanowiły głównie darmowe źródło materiału budowlanego dla miejscowych wieśniaków. Podczas I wojny światowej ucierpiała jedna z wież, wykorzystywana przez Rosjan jako punkt obserwacyjny.