Kamieniołom nazywał się pierwotnie Jerzmaniec, od wsi i góry, na zboczu której powstał. Jego historia sięga średniowiecza.
W lustracji z początku XVII wieku zapisano, że \"w górze Jerzmaniec wydobywany jest marmur, który na potrzebę Króla Jego Mości zastawiono\". Jeszcze za życia tego króla, Zygmunta III Wazy, z tego kamieniołomu wydobyto dwa potężne bloki skalne na pomnikowe kolumny. Jedna, ponoć o długości ponad 20 m, miała stanowić trzon pomnika przewyższającego rzymskie. Pękła jednak na pół już w trakcie obróbki w kamieniołomie. Według innej opowieści pierwsza kolumna uległa zniszczeniu w trakcie transportu, prawdopodobnie podczas spławiania Wisłą.
Do Warszawy dotarła kolumna o długości 8,5 m. Ogromnym przedsięwzięciem był także transport specjalnie skonstruowanym wozem, następnie spław Wisłą, a na koniec ustawienie kolumny jako trzonu wysokiego na 22 m pomnika, ufundowanego przez króla Władysława IV, syna Zygmunta III Wazy.
Przetrwała od 1644 do 1887 roku, kiedy to z powodu zniszczenia spowodowanego wietrzeniem skały została zastąpiona granitową. Obecnie, wraz ze swoją następczynią zniszczoną przez Niemców w czasie powstania warszawskiego, eksponowana jest pod Zamkiem Królewskim.