Cmentarz ma długą i złożoną historię, podobną do losów cmentarza Na Rossie. Pierwszy cmentarz znajdował się przy kościele oo. Bernardynów, przed kościołem św. Anny.
W związku z przeprowadzeniem na jego terenie ulicy św. Anny, na podstawie decyzji magistratu wileńskiego z 25 lutego 1810, na wniosek Katolickiej Kongregacji Niemieckiej św. Marcina przy kościele św. Anny, cmentarz przeniesiono na dzisiejsze miejsce. Wykonanie planu cmentarza Bernardyńskiego przypisuje się Józefowi Poussierowi.