Początek kultu Matki Bożej w Świętej Lipce sięga pocz. XIV wieku. Według podań skazany przez sąd w Kętrzynie więzień umieścił na lipie figurkę Matki Bożej, dzięki składanym do niej modlitwom został ułaskawiony. W II poł. XV wieku wybudowano tu kaplicę, która od razu stała się celem pielgrzymek m.in. w 1519 przybył tu wielki mistrz krzyżacki Albrecht Hohenzollern. W 1525 nastąpiła sekularyzacja Prus, zakazano kultu,
a ostatecznie kaplicę zniszczono. Ludność pielgrzymowała potajemnie. Sekretarz króla Zygmunta III Wazy Stefan Sadorski kupił w 1618 teren, na którym stała wcześniej kaplica
i już rok później ufundował nową świątynię, którą w 1624 przekazał jezuitom. Pielgrzymowali tu zarówno biedni jak i król Jan Kazimierz, kanclerz litewski Albert Stanisław Radziwił.