Pierwsze pisane informacje o tej wsi pochodzą z 1326 roku. W aktach spisanych na potrzeby dziesięciny płaconej papiestwu wspomina się o tej miejscowości i dwóch plebanach Piotrze i Janie. Pochodzenie nazwy miejscowości budzi spory. Dawna nazwa miejscowości Gołąb brzmiała Gołambie, Gołębie lub Głambie i zapisywano ją jako Chalube, Golambie lub Holube. Nazwę nadali jej prawdopodobnie właściciele nazwani Gołębiami, Gołębiowskimi lub właściciel tych terenów, który nazywał się Gołąb. Możliwe jest, że nazwa pochodzi od dzikich gołębi, które żyły na wysepkach Wisły lub od miejsc głębokich (głambi), które były przy tutejszych brodach, czyli przejściach przez Wisłę. Wieś Gołąb należała do dóbr królewskich.
Domek stoi blisko południowego muru okalającego cmentarz, a równolegle do osi kościoła pod wezwaniem św. Katarzyny i św. Floriana. Wybudowany jest na planie prostokąta. Bryła o kształcie prostopadłościanu ma 2 kondygnacje, w dolnej zastosowano podziały ryzalitowo-kolumnowe, a w górnej ryzalitowo-edikulowe.
Domek ma konstrukcję o podwójnych murach. Zewnętrzna ozdobna obudowa kamienno-ceglana i tynkowana, kryje w sobie wewnętrzne proste mury otynkowane od wewnątrz, nakryte sklepieniem kolebkowym właściwego Domku św. Rodziny. Wnętrze oświetla owalny otwór w sklepieniu i małe zakratowane okienko w ścianie zachodniej symbolizujące to przez które miał wejść anioł zwiastujący Marii poczęcie Chrystusa.
Elewacje opracowane są parami identycznie i tworzą jednolitą całość związaną ryzalitowymi narożnikami oraz ciągłymi podziałami poziomymi belkowania i gzymsów. W dolnej kondygnacji w ryzalitach między jońskimi kolumnami w niszach umieszczone są rzeźby proroków. We poziomych wnękach między ryzalitami były wypełnione malowidłami przedstawiającymi sceny z historii narodzenia Chrystusa. Mur attyki zasłania dach pogrążony. W jego załamaniu znajduje się lukarna w kształcie prostokątnej oszklonej wieżyczki, która doprowadza światło do wnętrza. Niegdyś była zwieńczona małą kopułą z latarnią. Pod domkiem jest sklepiona krypta z wejściem zewnętrznym pod ścianą zachodnią.
Portale
Ceramiczne rzeźby w niszach przedstawiają proroków, a ich kształty są italianizujące. Z dziesięciu figur zachowało się tylko sześć. Trzy przedstawiają Noego, Aarona, Izajasza i zdobią one elewację północną domku. Rzeźby Ezechiela i Mojżesza – południową. Szóstego proroka w prawej niszy elewacji wschodniej nie zidentyfikowano.
Rzeźbiarz nadał swoim pracom zindywidualizowane twarze, pozy swobodne lecz wyszukane, dbając o szczegóły. Niemal wszystkie rzeźby można uznać za warianty posągu Mojżesza z grobowca Juliusza II, najbliższe są mu posągi Mojżesza, Noego i niezidentyfikowanego proroka. Podobieństwo opiera się na tym samym układzie ciała, ukazania ruchu głowy i rąk. Można powiedzieć, że dotarły do Gołębia echa sztuki Michała Anioła, choć prymityzowane i przetworzone.