Zamek był niszczony przez Szwedów w 1655 i 1706 r. Odbudowany stał się rezydencją m.in. wojewody wileńskiego Karola Stanisława Radziwiłła, który słynął z wystawnych uczt.
Zamek został znacznie uszkodzony w czasie walk polsko-rosyjskich w 1794 r. W epoce napoleońskiej (1812 r.) został spalony i częściowo wysadzony w powietrze. Od 1813 r. drogą dziedziczenia dwukrotnie zmienił właścicieli. W 1895 r. zakupiony został przez książęcą rodzinę Światopełk-Mirskich. Budowla została ponownie odnowiona i zamieszkana. Rodzina Świętopełk-Mirskich była właścicielami zespołu obiektów do 1939 r. Od 1991 r. w zespole zamkowym prowadzone są prace konserwatorsko-rekonstrukcyjne.
https://www.radzima.org/images/pamatniki/mirskiy-zamok/mir-zamok-mirskiy-zamok-1366822056_b3.jpg