Początki Zwierzyńca sięgają XVI wieku. Było to doskonałe miejsce nad rzeką otoczone sosnowym lasem. Od XVI do XIX wieku posiadłości ziemskie dzisiejszego Zwierzyńca należały do najmożniejszej i najbardziej wpływowej na Litwie rodziny Radziwiłłów. Tu oni mieli rezerwat przeznaczony do polowania. Do swych dóbr Radziwiłłowie sprowadzili różne gatunki zwierząt przeznaczonych na okazjonalne łowy. Stąd nazwy ulic: Stirnų g. (pol. ulica Saren), ul. Stumbrų (pol. ulica Żubrów), ul. Elnių (pol. ulica Jeleni).

W późniejszych latach tę posiadłość Radziwiłłowie podarowali jezuitom, którzy zarządzali nią do 1733 roku. W letniej rezydencji jezuickiej znajdował się klasztor, ogrody, aleje, szklarnie.