Koralowy Zamek został stworzony przez jednego człowieka, który pracował samotnie przez 28 lat, aż do swojej śmierci w 1951 roku. Był to łotewski imigrant Edward Leedskalnin. Legenda głosi, że zainspirował się do zbudowania konstrukcji po tym, jak został porzucony przez swoją 16-letnią ukochaną w dniu ich ślubu. Odtrącony przez utraconą miłość, postanowił udowodnić jej – i światu – że może zrobić coś niezwykłego pomimo swojej biedy i czwartej klasy edukacji. I udało mu się to znakomicie.
Choć tak naprawdę nie jest to zamek – i tak naprawdę nie jest zbudowany z korala – jest to jednak niesamowite osiągnięcie. Ponad 1000 ton skały osadowej (wapienia oolitu) wydobyto i wyrzeźbiono w różne kształty, w tym ściany płytowe, stoły, krzesła, półksiężyc, fontannę i zegar słoneczny.