Około 1505 roku z inicjatywy biskupa Łukasza Watzenrode, wuja Mikołaj Kopernika , rozpoczęła się budowa nowych murów obronnych wokół zamku.Fortyfikacje , wzmocnione półcylidrycznymi bastejami na narożach , były juz przygotowane do użycia broni palnej.Pozwoliło to polskiej załodze odeprzeć szturm oddziałów krzyżackich w 1520 roku.Kolejne większe prace budowlane przeprowadzono za rządów kardynała Andrzeja Batorego w latach 1594-1897. Zamek , który stracił już wówczas znaczenie militarne , został przekształcony w myśliwską rezydencję biskupów.W XVIII w. budowla zaczęła podupadać.Lustracja z 1767 r. przedstawia go poważnie zdewastowanym i użytkowanym tylko w niewielkiej części.Po pierwszym rozbiorze Polski w 1772 r.zamek został przejęty przez administrację pruską .