Smith családi életéről régóta tart már a történelmi vita, de a mormonok - akiknek hivatalos neve az Utolsó Napok Szentjeinek Jézus Krisztus Egyháza - mindeddig kitartottak amellett, hogy prófétájuk egyetlen asszonnyal, Emmával élt boldog házasságban. Az egyház most elismerte, hogy "óvatos becslések szerint 30 és 40 között" lehetett az egyházalapító felségeinek száma.

A mormon egyház az amerikai kormány nyomására 1890-ben szakított a poligámiával. A többnejűséget börtönnel és vagyonelkobzással büntették a 19. századi Egyesült Államokban.

A interneten is közzétett egyházi értekezés szerint Smith nem akart több feleséget, de feladta ezt az álláspontját, miután állítása szerint 1834 és 1842 között három ízben jelent meg neki egy angyal. Ő az egyház szerint utoljára kivont karddal jelent meg a próféta előtt és pusztulással fenyegette meg, ha nem veti alá magát maradéktalanul a parancsolatnak.

A tanulmány rámutatott, hogy Smith a mormonok mozgalmában az olyan bibliai próféták "ősi elveinek" helyreállítását látta, mint Ábrahám, akinek több neje volt.

Smith ugyanakkor az egyház szerint nem feltétlenül létesített szexuális kapcsolatot az összes feleségével, mert a házasságkötései közül több "az örökkévalóságnak szóló frigy" volt, egyfajta tartalék a túlvilág számára.

Joseph Smith második felesége Fanny Alger volt, akiktől azonban később különvált. Volt olyan időszak, amikor Emma Smith - akinek nem volt tudomása arról, hogy hitvese összesen hány nőt is vezetett oltár elé - négy asszonytársát volt kénytelen eltűrni a házban.