Po powstaniu styczniowym obiekt zaczął popadać w ruinę. W 1928 roku zwrócono go jezuitom, którzy zorganizowali w nim internat. Obecnie, po wielu perypetiach powojennych znajduje się tu niewielkia wystawa archeologiczna. Z inicjatywy jezuitów z dawnego kolegium jezuickiego przeniesiono tu również Muzeum Adama Mickiewicza.