Głównym fundatorem eremu w Rytwianach był wspomniany
Jan Magnus Tęczyński wraz ze swoim bratem Gabrielem Tęczyńskim, wojewodą lubelskim. Kamień węgielny pod budowę położył dnia 1 maja 1624 roku biskup krakowski Marcin Szyszkowski. Prace budowlane kościoła i budynków klasztornych wraz z domkami pustelniczymi trwały do roku 1637, kiedy to biskup krakowski Tomasz Oborski konsekrował świątynię nadając jej wezwanie Zwiastowania Najświętszej Maryi Panny.