W 1804 roku pałacyk odwiedził przyszły król Francji Ludwik XVIII, osiem lat później gościli tu zarówno Aleksander I, jak i Napoleon Bonaparte. Po wybuchu wojny francusko-rosyjskiej w 1812 roku zakwaterowano tu sztab armii francuskiej.

Po ponownym włączeniu Litwy w skład Rosji w 1813 roku, nastąpiła w latach 1824-1834 przebudowa budynku w stylu empire dokonana przez Wasilija Stasowa.
Po 1945 roku pałac służył wojsku radzieckiemu, umieszczono tu też m.in. galerie sztuki. Do 1991 roku mieścił się w nim Pałac Pracowników Kultury. Po 1993 roku przeszedł na własność Kancelarii Prezydenta, a od 1997 roku jest oficjalną siedzibą głowy państwa litewskiego.