W okresach późniejszych pełniła funkcję więzienia. W wyniku wielkiego trzęsienia ziemi z 1755 budowla przeniesiona została ze środka rzeki w obecne miejsce. W 1833 przez dwa miesiące był tu więziony generał Józef Bem, twórca Legionu Polskiego w Portugalii.

W 1983 Torre de Belém wpisano na Listę światowego dziedzictwa UNESCO.