Został zaprojektowany przez Nicolai Eigtveda w 1740 r. Jego powstanie, jak i całego Frederiksstaden wiąże się z jubileuszem 300-lecia panowania dynastii Oldenburgów.
Kamień węgielny pod budowę świątyni został wmurowany przez Fryderyka V 31 października 1749 r. Po śmierci Eigtveda w 1754 r. pracami budowlanymi kierował francuski architekt, Nicolas Jardin. Początkowo Kościół Marmurowy wznoszono z marmuru norweskiego (stąd nazwa), ale z uwagi na wysokie koszty tego materiału w 1770 roku, pomysł ten zarzucono. Wkrótce z powodu braku środków finansowych prace w ogóle przerwano. Niedokończony kościół stał przez sto lat. Budowę wznowiono dopiero w 1876 r. dzięki wsparciu finansowemu duńskiego przemysłowca, Carla Frederika Tietgena. Ukończony według projektu Ferdinanda Meldahla został otwarty 19 sierpnia 1894 r.
Kościół Marmurowy posiada największą, wspierającą się na 12 kolumnach, kopułę w Skandynawii, której przęsła wznoszą się na wysokość 31 m. Była wzorowana na kopule watykańskiej bazyliki św. Piotra.