Stary Zamek w Żywcu jest najstarszą świecką budowlą
w mieście. Jego powstanie przypisuje się książętom oświęcimskim lub Mikołajowi Strzale herbu Kotwicz, a datuje na I poł. XV wieku. Pierwotnie budowla składała się z pojedynczej wieży mieszkalnej oraz drewnianych zabudowań, otoczonych ziemnym wałem oraz płytką fosą.
Pod koniec XVI wieku warownia została przebudowana i nabrała cech renesansowej rezydencji z krużgankami i attykami. Kolejne przebudowy z zachowaniem stylu eleganckiej rezydencji przeprowadzili Wielopolscy (w stylu barokowym)
i Habsburgowie, którzy nadali zamkowi dzisiejszy kształt.