Święta Góra znajduje się na Wysoczyźnie Drohickiej, w południowej części Niziny Północnopodlaskiej. W pobliżu płynie rzeka Moszczona, która 7 km dalej na południe uchodzi do rzeki Bug. Lasy otaczające Grabarkę to dawna Puszcza Mielnicka obecnie nazywane są Lasami Nurzeckimi.