Początki zamku związane są z powstaniem w XII wieku kasztelanii lubelskiej. Za czasów Kazimierza Sprawiedliwego został wzniesiony na wzgórzu gród umocniony drewniano-ziemnym wałem. W pierwszej połowie XIII w. w obrębie górnej części zamku wybudowano murowaną wieżę obronno-rezydencjonalną (donżon, stołp). Jest to cenny zabytek sztuki romańskiej zachowany do dzisiaj. Wieża utwierdziła lokalizację średniowiecznego założenia i dała początek murowanej zabudowie zamku.