Według legendy pod koniec XVIII wieku na zamku i w jego okolicy rezydowali Inkowie: potomkowie Tupaca Amaru II oraz część arystokracji, uciekający przed hiszpańskimi prześladowaniami. Na terenie zamku inkascy zbiegowie mieli też ukryć część skarbu przeznaczonego – prawdopodobnie – na sfinansowanie powstania przeciw Hiszpanii