W Sromowcach Wyżnych na wygonie miał znajdować się zamek, który w XV wieku miał pełnić rolę strażnicy pomocniczej przy zamku czorsztyńskim na granicy polsko-węgierskiej. Aktualnie po zamku nie ma śladu, pozostała jednak nazwa góry, na której ów zamek miał się znajdować – Zamczysko.