Klasztor powstał w II połowie XII wieku, konsekrowany prawdopodobnie w 1181. Jak głosi tradycja, jego fundatorem był dziedzic Zwierzyńca, rycerz Jaksa Gryfita, który po powrocie z wyprawy krzyżowej do Ziemi Świętej wybudował w 1162 roku klasztor i kościół.
Według innych źródeł, nie jest to wcale pewne i przyjmuje się ogólnie, że zgromadzenie reguły św. Norberta powstało na Zwierzyńcu między 1144 a 1165 rokiem. Norbertanki, najstarsze żeńskie zgromadzenie zakonne w Polsce, przybyły pod Kraków z Doksau koło Pragi. Uważa się za prawdopodobne, że początkowo był to klasztor dwukonwentualny, rozdział na zgromadzenie żeńskie i męskie mogło nastąpić po 1241 roku po najeździe Tatarów.