W XIV w na miejscu dzisiejszej wieży stała już podobna budowla, tzw. Baszta Rybacka. Wzniesiona została przez Krzyżaków, a jej zadanie bardziej polegało na zaryglowaniu dostępu do komturskiego zamku od strony miasta.
W 1454 r. zbuntowani gdańszczanie zniszczyli większość krzyżackich obiektów militarnych w tym również Basztę Rybacką. Na jej miejscu, zresztą przy wykorzystaniu fundamentów zniszczonej wieży, wzniesiono dzisiejszą Basztę Łabędź. Przypominała ona wyglądem Basztę Rybacką, różnica polegała na zwróceniu kierunku ostrzału w stronę przystani portowej.
Dzisiejsze kształty wieży pochodzą z XVI w., gdy powiększono najwyższe piętro oraz poszerzono okna, ułatwiając w ten sposób obserwację portu. W latach późniejszych obiekt stopniowo tracił znaczenie obronne i dlatego opleciony został ciasną zabudową niedużych kamieniczek.
W 1945 r. baszta poważnie ucierpiała natomiast obramowanie z domków zostało całkowicie zniszczone. W 1967 r. Baszta Łabędź została odrestaurowana.
dodane na fotoforum: