Pustelnię Świętego Brata Alberta na Kalatówkach, z kaplicą Świętego Krzyża, zaczęto wznosić wiosną 1898 roku. Budowali ją bracia albertyni, z pomocą górali, pod kierunkiem Brata Alberta, a w projekcie prawdopodobnie pomagał Stanisław Witkiewicz. Teren ofiarował hrabia Władysław Zamoyski, ówczesny właściciel Zakopanego.