Początki osady sięgają XI wieku. Na jednym ze wzgórz istniała osada zwana Wietrzną Górą, należąca do zakonu benedyktynów. W 1181 roku Kazimierz Sprawiedliwy przekazał osadę norbertankom z podkrakowskiego Zwierzyńca. Norbertanki zmieniły nazwę osady na Kazimierz (imię darczyńcy). Nazwa została odnotowana w kronikach po raz pierwszy w 1249 roku, a przymiotnik "Dolny" został dodany w latach późniejszych, w celu odróżnienia osady (w dolnym biegu rzeki,