Pierwsze wzmianki o osadnictwie żydowskim w Kazimierzu Dolnym nad Wisłą (w języku jidysz: Kuzmir) pochodzą z 1507 roku. Rozwojowi lokalnej społeczności żydowskiej sprzyjało położenie miasta nad Wisłą i związane z tym możliwości spławu drewna i zboża. Swoje interesy prowadził tu Szmul Jakubowicz Zbytkower, znany żydowski bogacz i bankier pożyczający pieniądze królowi Stanisławowi Augustowi Poniatowskiemu