W 1568 roku król Zygmunt August powołał Komisję Morską (Commissio Maritima), której biura znajdowały się w skrzydle wschodnim Zamku Średniego. W latach 1584–1585 i 1592-1601 funkcjonowały na przedzamczu zamku dwie królewskie mennice gdzie bito szelągi i złote dukaty i portugały. W związku z wizytą króla Zygmunta III Wazy w 1593 roku, częściowo przebudowano Zimowy Refektarz. Podczas wojny ze Szwecją „o ujście Wisły” w dniu 17 lipca 1626 roku zamek obległy wojska szwedzkie pod dowództwem Gustawa Adolfa. Polską obroną dowodził podstarości Wojciech Pęczławski, który miał do dyspozycji 300 ludzi. Mimo szczupłych sił i wpuszczeniu Szwedów do miasta przez burmistrza Pheninusa, obrońcy zdołali odeprzeć szturmy 7500 atakujących do 19 lipca, gdy Szwedzi wdarli się od wschodu przez przedzamcze i na Zamek Średni. Obrońcy złożyli honorową kapitulację i w dowód podziwu za mężną obronę pozwolono im 20 lipca odejść do Grudziądza. Za utratę zamku, przebywającego w niewoli podstarościego Pęczławskiego skazano zaocznie na karę śmierci. Szwedzi po zdobyciu zamku zbudowali w ciągu dwóch lat 11 ziemnych bastionów. W 1629 roku fortyfikacje powiększono o kolejną linię obronną, którą wojska polskie hetmana Stanisława Koniecpolskiego próbowały bezskutecznie zdobyć 25 lipca. W 1635 roku na mocy rozejmu ze Szwedami na zamek wróciły wojska polskie. W roku 1644 w wyniku pożaru wywołanego sztucznymi ogniami na cześć króla Władysława IV, spaliły się dachy na Zamku Wysokim oraz zniszczone zostały krużganki. Zamek został wyremontowany po 1647 roku przez Gerarda Denhoffa powołanego na funkcję ekonoma malborskiego przez króla Władysława IV znacznie go dozbrajając o 66 dział. Krużganki odbudowano w stylu barokowym i wzniesiono nowe dachy nad skrzydłem północnym i zachodnim.