Zamek, leżący na królewskim szlaku z Krakowa do Wilna, cieszył się zainteresowaniem i opieką Jagiellonów. Tu, pod kuratelą Jana Długosza, wychowali się synowie Kazimierza Jagiellończyka. Około 1520 r. Zygmunt Stary zapoczątkował przebudowę zamku na okazałą rezydencję królewską, zatrudniając m. in. włoskich mistrzów sprowadzonych z Krakowa.