Najstarsza część zamku to pamiątka czasów burzliwych i bezlitosnych. Budowę nad rzeką Arun rozpoczęto w 1067. Był jedną z fortec normańskich najeźdźców i pierwotnie należał do kuzyna Wilhelma Zdobywcy. Rozkwit zamku przypadł na czasy Henryka II Plantageneta, syna cesarzowej Matyldy .Część kamiennych detali przywieziono z Caen. Całość otoczono murem obwodowym na tyle rozległym, by w razie zagrożenia mógł zapewnić schronienie dzierżawcom i służbie, a nawet zwierzętom gospodarskim.