Początki rezydencji w Kamieńcu toną w mroku dziejów, co utrudnia oddzielenie legend od historycznych faktów. Być może pierwszy, drewniany zamek na terenie miejscowości wznieśli templariusze, którzy również postawić mieli tutaj pierwszy kościół. Jak głosi wieść, swe skarby ukryć miał tutaj sławny mistrz krzyżacki, żyjący na przełomie XII i XIII w., Hermann von Salza. Podania mówią też o podziemnych korytarzach, wiodących stąd do innych warowni. Wiemy na pewno, że istniał tu średniowieczny zamek. Na ruinach tej budowli ród Kokorzów (będący starą rodziną, wywodzącą się z Czech) wzniósł w XVI w. renesansową rezydencję. Rychło też Kamieniec stał się ich głównym gniazdem.

Obecny Pałac
Początek wieku XVIII przyniósł powstanie nowego, tym razem barokowego pałacu, wybudowanego z inicjatywy Martina Scholtz von Löwenkrona na fundamentach wspomnianego, renesansowego obiektu. Nowa rezydencja posiadała zwartą, dwukondygnacyjną bryłę przykrytą mansardowym dachem. W połowie tego samego stulecia pałac został nabyty przez Karola Józefa Strachwitza. Strachwitzowie, którzy byli jego właścicielami przez dłuższy czas, uczynili z niego swoją siedzibę rodową. Im to również rezydencja zawdzięcza kolejną przebudowę, dokonaną w latach siedemdziesiątych XIX w. Zburzono wówczas mur otaczający budowlę, a następnie rozbudowano ją w stylu neorenesansu. Kolejni właściciele, Stolbergowie, posiadający pałac w pierwszej połowie XX w., dokonali ostatniej przebudowy, która nadała rezydencji cechy neobarokowe. Charakterystycznymi elementami (wówczas wzniesionymi) są wieże w narożnikach. Obecnie w zadbanym i efektownym budynku pałacu mieści się Ośrodek Leczniczo-Rehabilitacyjny dla dzieci.

Mysia Wieża
Na wschód od pałacu, w bezpośrednim sąsiedztwie, stoi tzw. Mysia Wieża. Przez długi czas uznawano ją za zbudowaną przez Strachwitzów w końcu XIX w., jednak badania archeologiczne odsłoniły w niej pozostałości budowli średniowiecznego zamku.