Zamek miał wielu właścicieli, należał do rodu Ostrowskich, Samborzeckich, wojewody lubelskiego Mikołaja Kurozwęckiego, Firlejów, Radziwiłłów, Lubomirskich i Sanguszków. W 1. połowie XVII w. zamek przebudowano w stylu renesansowym. Budowla została zniszczona podczas najazdu szwedzkiego, odrestaurowana w stylu pałacowym za panowania króla Augusta II, opuszczona pod koniec XVIII w., po czym rozebrana.

Zachowały się fragmenty murów i pozostałości wolno stojącej wieży (obecnie 19 m wysokości, grubość murów u podstawy 4-5 m). Po II wojnie światowej zamek zabezpieczono w formie trwałej ruiny.
https://www.krainarowerowa.pl/uploads/pois/24/zamek_kazimierz_panorama_miasta.jpg