Jeden z najstarszych, jakie na razie udało nam się zobaczyć. Powstał prawdopodobnie ok. 1239 r. kiedy to Iłża uzyskała prawa miejskie i stała się ważnym ośrodkiem kolonizacji terenów na północ od terenów Gór Świętokrzyskich.
Zamek pełnił wówczas rolę centrum administracyjnego. Zniszczony podczas najazdów tatarskich w 1241 i 1259 roku. Odbudowany i zniszczony razem z miastem w XVII w. podczas potopu szwedzkiego.
W sierpniu 1831r. podczas powstania listopadowego doszło do bitwy polsko-rosyjskiej i wszystko co udało się odbudować poszło w zapomnienie.
Walki prowadzone były również podczas powstania styczniowego w roku 1864 - na szczęście nie przyniosło ono takiego zniszczenia jak poprzednie.
Ilość walk prowadzonych na tym terenie powoduje, że nie dziwi fakt co zostało do zobaczenia.
Ocalała tylko wieża z tarasem widokowym i fragmenty ścian oraz fundamenty wszystkich pomieszczeń. Wystarczy to do wyobrażenia sobie całkowitego wyglądu zamku.