Según la opinión más reconocida, su verdadero nombre era Jundub b. Junāda. Se convirtió al islam en La Meca en los primeros días del islam. Fue el cuarto de las primeras cuatro personas en abrazar el islam, o el quinto de las primeras cinco. La historia de su conversión al islam fue narrada en las secciones relativas al periodo anterior a la Hégira. Fue la primera persona en saludar al Mensajero de Dios (la paz y las bendiciones sean con él) con el saludo islámico de paz. Tras hacerse musulmán, regresó a su tierra natal y a su tribu. Permaneció entre su gente en su tierra hasta que el Mensajero de Dios (la paz y las bendiciones sean con él) emigró a Medina. Después de la batalla del Foso (Jandaq), emigró a Medina. Desde entonces, estuvo siempre con el Mensajero de Dios (la paz y las bendiciones sean con él), tanto en tiempos de paz como de viaje. Transmitió muchos hadices de él. Se han transmitido numerosos hadices sobre su virtud y excelencia. El más famoso de ellos es el siguiente hadiz narrado por ʿAbd Allāh b. ʿAmr: El Mensajero de Dios (la paz y las bendiciones sean con él) dijo:
"La tierra no ha llevado, ni el cielo ha cubierto, a nadie más veraz en su palabra que Abū Dharr." Este hadiz es débil. Tras la muerte del Mensajero de Dios (la paz y las bendiciones sean con él) y de Abū Bakr, se trasladó a Siria (al-Shām). Permaneció allí. Sin embargo, surgió un desacuerdo entre él y Muʿāwiya. ʿUthmān lo llamó a Medina. Posteriormente, se estableció en Rabadha. Permaneció allí hasta su fallecimiento en el mes de Dhu al-Ḥijja, en el año treinta y dos después de la Hégira. En el momento de su muerte, no había nadie con él salvo su esposa e hijos. Cuando falleció, su esposa e hijos no pudieron enterrarlo. En ese momento, ʿAbd Allāh b. Masʿūd, junto con algunos de sus compañeros, venía de Irak. Vieron que estaba a punto de morir. Antes de su muerte, les indicó lo que debían hacer tras su fallecimiento. Según otra narración, llegaron después de su muerte, lavaron su cuerpo y lo enterraron.
Tras su muerte, Abū Dharr había ordenado a su familia que sacrificaran y cocinaran una de sus ovejas para que la comieran. ʿUthmān envió un mensaje a su familia, los acogió y los mantuvo junto con su propia familia.