Klasztor kanoników regularnych założony został w drugiej ćwierci XII w., a jego fundatorem był Aleksander z Malonne, biskup płocki w latach 1129-1156. Zapewne w fundacji uczestniczyli też książęta Bolesław Kędzierzawy i Henryk Sandomierski. Istnieje również podejrzenie, że w przygotowaniu fundacji mógł mieć udział Bolesław Krzywousty (wymieniony jest w przywileju Konrada mazowieckiego z 1222 r., także Spominki sochaczewskie wymieniają jako datę fundacji rok 1124). Pochodzenie sprowadzonych tu kanoników regularnych nie jest ostatecznie rozsądzone – być może pochodzili oni z opactwa św. Idziego w Leodium. Najstarszy dokument poświadczający istnienie klasztoru pochodzi z 1155 r., jest to bulla protekcyjna papieża Hadriana IV wystawiona na prośbę tutejszego przeora Gwidona, w której papież objął opiekę na klasztorem i jego dobrami.
Kanonicy prowadzili działalność duszpasterską, a także charytatywną – w dokumentach z XIII w. wymieniany jest szpital przyklasztorny. Klasztor od początku dobrze uposażony prężnie się rozwijał pod względem ekonomicznym. Początkowo raczej nie podlegał żadnej kongregacji, jego przeor, a od końca XII w. opat podlegał faktycznie jedynie biskupowi płockiemu i zasiadał w płockiej kapitule katedralnej. W 1514 r. klasztor przyłączył się do kongregacji laterańskiej, co wynikało m.in. ze sporu, jaki toczył ówczesny opat Ambroży z biskupem Erazmem Ciołkiem na tle zarządzania podległymi parafiami (przyłączenie się do kongregacji laterańskiej oznaczało m.in. egzempcję, tj. wyjęcie klasztoru spod władzy miejscowego biskupa).
Klasztor pełnił ważne funkcje obronne, często bywali tu też dostojnicy kościelni i książęta mazowieccy. W 1361 r. przebywał tu Kazimierz Wielki. W lipcu 1410 r. Władysław Jagiełło po przeprawie przez Wisłę modlił się tu o powodzenie swej wyprawy przeciwko Krzyżakom, a po bitwie pod Grunwaldem ponoć ofiarował klasztorowi w podzięce swój hełm, który nosił w bitwie. W XV w. doszło też tutaj do wielu istotnych, wspomnianych wyżej wydarzeń politycznych (rokowania z królem Erykiem Pomorskim – 1419, przywilej czerwiński – 1422, sejmy mazowieckie.
XVI w. to początek okresu opatów komendatoryjnych, zajmujących się wyłącznie czerpaniem dochodów z dóbr opactwa. Pierwszym z nich był sekretarz królowej Bony Jan Lewicki, a wymienić tu można m.in. braci królewskich: Andrzeja Batorego, Karola Ferdynanda Wazę, Michała Poniatowskiego. Zjawisko to powodowało konflikty w zgromadzeniu, kilkakrotnie zakonnicy próbowali sprzeciwić się narzucaniu opatów, ale bezskutecznie – osiągnęli jedynie, że sprawami wewnętrznymi zgromadzenia miał kierować wyłącznie przeor i wydzielono dochód przypadający zgromadzeniu, a nie opatowi (stanowiący zaledwie ok. 1/5 całości dochodów opactwa). I choć popularności przysparzał klasztorowi uznany za cudowny obraz Matki Boskiej Czerwińskiej, często odwiedzany przez króla Jana Kazimierza, który uhonorował go składając tutaj chorągwie zdobyte na Kozakach, to postępował długotrwały proces marginalizacji opactwa.
Jego zwieńczeniem była kasata klasztoru, która miała miejsce w 1819 r. – decyzję tę podjął arcybiskup warszawski Franciszek Malczewski na dzień przed swoją śmiercią. Ostatni kanonik, pozostały tu dla obsługi parafii Onufry Barcikowski zmarł w 1833 r. Klasztor objęły norbertanki usunięte z Płocka. W 1902 r. i norbertanki odeszły z Czerwińska, w 1923 r. ich miejsce zajęli salezjanie, którzy podjęli się odbudowy zniszczonego przez okres niezamieszkania klasztoru.