Drewniany zamek stał tu już w XIII w. (niektórzy sądzą że nawet w XII w.), władał nim ród Toporczyków. Murowany wybudowany został za Kazimierza Wielkiego. Pierwsza wzmianka w dokumentach pochodzi z końca XIV w. i mowa jest w nich o rycerzu Iwo z Rabsztyna, a następnie o Janie - burgrabim rabsztyńskim. Po śmierci Kazimierza zamek przeszedł w ręce prywatne w ramach spłaty jego długów. W średniowieczu zamek obejmował tylko najwyższą część wzgórza na skale (tzw. ostańcu) i składał się z wieży i budynku mieszkalnego, którego pozostałości zachowały się do dzisiaj.