Po przejęciu zamku przez Prusaków, w roku 1774 zaczęto przebudowywać Zamek Wysoki na koszary, co doprowadziło do ogromnych zniszczeń. Wyburzono prawie wszystkie gotyckie sklepienia i przebudowano okna. Zamurowano krużganki i wybudowano nową bramę od strony miasta. Wielki Refektarz przeznaczono na ujeżdżalnię koni. W Pałacu Wielkich Mistrzów urządzono fabrykę tkanin i mieszkania dla robotników. Dokonano rozbiórki wielu bram i murów na budulec. Szczególnie wielkie straty zamek poniósł w latach 1801–1804 gdy na rozkaz Fryderyka Wilhelma III zamek zaczęto przebudowywać na wielkie magazyny wojskowe. Wykuto nowe okna, otynkowano zamek wysoki oraz wyburzono średniowieczne sklepienia wprowadzając zamiast tego drewniane stropy. Po tych dewastacjach i protestach prasowych, nastąpiła zmiana postrzegania wartości zamku.