Pierwszy zamek w Smoleniu powstał prawdopodobnie w XIII wieku, ale w 1300 roku uległ spaleniu. Kolejna, gotycka warownia powstała w połowie XIV wieku i aż do 1561 roku była rezydencją rodu Toporczyków. Przedstawiciele tej rodziny w XV wieku zmienili nazwisko na Pileccy