W XV w. była to siedziba rycerzy-rabusiów, którzy wraz ze swoimi drużynami trudnili się rozbojami i grabieżą. Takim panem zamku był w latach 1443÷1450 Jerzy Mühlheim, a po nim do 1535 ród Czetryców, kiedy to ostatni z tej linii Czetryców - Hieronim sprzedał swój majątek Krzysztofowi Hohbergowi z Książa. W 1545 zamek na zlecenie cesarza Ferdynanda I przechodzi na własność Macieja z Łagowa.