Zygmunt Luksemburczyk zintensyfikował prace nad zamkiem, ale z powodu jego śmierci nie zostały one nigdy dokończone według pierwotnych zamierzeń. Kolejni władcy skupiali się na dodawaniu niewielkich fragmentów lub przekształcaniu starych w duchu panującego aktualnie stylu architektonicznego.

Kres istnieniu starego zamku położyli Turcy. Po zdobyciu dawnej stolicy Królestwa Węgierskiego urządzili w nim arsenał, którego wybuch w 1578 kompletnie zniszczył budynek. W XX wieku pozostałości odkryli archeolodzy (m.in. dobrze zachowana kaplica gotycka, fragmenty murów, bastionów, rzeźby).