W 1380 roku w statutach kapituły kamieńskiej pojawia się po raz pierwszy nazwa wsi Rybokarty. W 1447 roku miejscowość zostaje wymieniona jako Ribbekard. Z kolei w dokumencie z 1505 r. wieś określono jako Rybbekarth. Stanowiła lenno rycerza von Kretlow. Później właścicielem miejscowości został Henryk Bork, zwany też Czarnym Rycerzem. W 1606 roku kompleks gospodarski był już w posiadaniu Petera von Wohlde. Mapa Lubinusa z 1618 r. wymienia Ribcartz. Natomiast w dokumencie z 1628 roku wskazana jest inna nazwa wsi – Ribbekardt. Następnym właścicielem Rybokart był Christoph von Mildenitz. Z kolei po 22 latach w posiadanie Rybokart wszedł Hans von Hennig, który zmarł w 1669 r. Wówczas wieś przejął jego dalszy krewny – Georg von Edling. W 1765 roku, po śmierci ostatniego członka rodu von Edling, gospodarzem Rybokart został tajny radca Karol Adrian von Arnstadt. W 1780 roku nazwa wsi brzmiała Ribberkart. W 1791 r. wieś kupił za kwotę 2 tys. talarów generał major von Lettow. Członkowie rodu von Lettow ucznili pałac w Rybokartach jedną z najokazalszych siedzib. Potem właściciele pałacu i wsi zmieniali się często. W 1901 roku Rybokarty były własnością dr Fritza Röchlinga, który między innymi leczył tutaj klimatem osoby z zaburzeniami psychicznymi (depresjami). Od 1929 roku do 1945 roku właścicielem Rybokart był adwokat dr prawa Müller z Gdańska.