Zamek wzniesiony został prawdopodobnie przez Bolka I, księcia świdnicko-jaworskiego, jednak brak źródeł potwierdzających ten fakt. Istniejące partie murów zamku gotyckiego powstały zapewne za księcia Bernarda i następnie panującego jego brata Bolka II. W 1392 roku po śmierci żony Bolka II, księżnej Agnieszki, zamek przeszedł w ręce Korony Czeskiej. W XV w. był w posiadaniu rodzin rycerskich, które podczas wojen husyckich zajmowały się rozbojem. Kolejnym właścicielem, który w latach 1545-1587 dokonał poważnej rozbudowy zamku był Maciej von Logau. W czasie wojny trzydziestoletniej zajęty i częściowo zniszczony przez Szwedów. W drugiej połowie XVIII w. oblegany w czasie rozruchów chłopskich. Ostatnimi właścicielami opuszczonego od 1774 roku zamku byli von Zedlitzowie. W 1789 roku osunęło się częściowo skrzydło południowe zamku górnego, jednak już w 1824 roku z inicjatywy pastora Buschinga, ówczesnego właściciela zamku, podjęto prace remontowo-zabezpieczające. Wprowadziły one zmiany, które nie były zgodne z historycznym kształtem budowli. Kolejne prace prowadzono w latach 1868-1869 oraz w końcu XIX w. W roku 1904 odnowiono sgraffita i otwarto schronisko z gospodą. Dalsze zabiegi konserwatorskie miały miejsce po II wojnie światowej. Od 2009 roku zamek jest własnością gminy Walim[