Choć cmentarz był przede wszystkim miejscem pochówku żydowskiej biedoty to jednak w 1802 r. został na nim pochowany sam Zbytkower. Spoczęli tu również członkowie znanych i szanowanych rodzin żydowskich : Nissenbaumów, Bergsonów i Sonnenbergów a także znakomity uczony i konstruktor Abraham Stern (1768-1842), twórca mechanicznych maszyn liczących (min. pierwszego na świecie arytmometru wykonującego pięć podstawowych działań), członek Towarzystwa Przyjaciół Nauk, dziadek poety Antoniego Słonimskiego.
W 1843 r. staraniem Jakuba Flataua, wnuka Szmula Zbytkowera wzniesiono wzdłuż północno-wschodniej granicy cmentarza ceglany mur, w którym umieszczono tablicę pamiątkową ku czci fundatora.
Pozostałe fragmenty muru wzniesiono dopiero w latach 70. XIX wieku.
Fundusze na ten cel pochodziły z legatów Jakuba Flataua i jego siostry Rozalii Löwenstein.
Aż do wybuchu wojny cmentarz służył głównie ludności prawobrzeżnej Warszawy. Ostatnich zmarłych pogrzebano tu w 1941 r.