Rozkaz budowy zamku na największej z trzech wysp jeziora Galve wydał wielki książę Kiejstut w drugiej połowie XIV w. Warownia miała stanowić wsparcie dla drugiego trockiego zamku położonego na półwyspie przy jeziorze. Szybko jednak jej status wzrósł, gdy Kiejstut przeniósł do nowo wybudowanego zamku skarb książęcy, a także sam w nim zamieszkał