Historia Czerwińska przez stulecia nierozerwalnie jest związana z historią tutejszego klasztoru kanoników regularnych, powstałego w XII w. Pierwszy dokument wspominający o Czerwińsku, pochodzący z 1155 r., to bulla papieża Hadriana IV dotycząca właśnie klasztoru. Nie tylko jednak związek z klasztorem powodował rozkwit miejscowości – położona nad Wisłą, stanowiła ważny punkt na szlaku handlowym łączącym Pomorze z Mazowszem. Była też ważnym punktem obronnym podczas najazdów pruskich, jaćwieskich, litewskich. W lipcu 1410 roku wojska polskie Jagiełły przeprawiały się pod Czerwińskiem przez Wisłę by połączyć się z wojskami litewskimi i ruszyć na państwo zakonne. To jednak klasztor ściągał tutaj książąt mazowieckich, biskupów, to w klasztorze w 1419 r. toczono rokowania z posłami króla Eryka Pomorskiego. W lipcu 1422 r. Jagiełło kolejny raz będąc w Czerwińsku wydał tu jeden ze swych przywilejów dla stanu szlacheckiego. W XV w. odbywały się tutaj sejmy mazowieckie, a także synod diecezjalny.
Prawa miejskie Czerwińsk uzyskał w dwóch etapach, jako że osada podzielona była na dwie części – biskupią, wschodnią (gdzie biskupi płoccy posiadali dwór), i klasztorną, zachodnią. Część biskupia otrzymała prawa miejskie w 1373 r., zaś część klasztorna w 1582 r. (formalnie, bo z praw miejskich mieszkańcy części klasztornej faktycznie korzystali już wcześniej). W 1526 r., po Czerwińsk został wcielony do ziem Królestwa Polskiego.
Od XVII w., choć popularności przysparzał miejscowości znajdujący się w klasztorze obraz Matki Boskiej Czerwińskiej, uznany za cudowny w 1647 r., postępował proces marginalizacji opactwa, stopniowo tracił znaczenie również sam Czerwińsk, zresztą niekorzystający specjalnie na spławie zboża Wisłą i często nawiedzany przez pożary i powodzie. Z około pół tysiąca domów istniejących w XVI w. po potopie szwedzkim pozostała połowa, a w końcu XVIII w. istniało zaledwie 40 domów. Gdy w 1795 r. włączono Czerwińsk do Prus, zamieszkiwało go niespełna 300 osób, nie było też żadnej szkoły. Kilkanaście lat później, w dobie Księstwa Warszawskiego mieszkańców było już tylko 150. W 1815 r. Czerwińsk znalazł się w granicach Kongresówki, a w 1870 r. formalnie odebrano mu prawa miejskie.