Meşhur görüşe göre asıl adı, Cündeb b. Cüdane'dir. İslâmiyet'in ilk zamanlannda Mekke'de Müslüman oldu. İslâm'a giren ilk dört kişinin dördüncüsü veya ilk beş kişinin beşincisi oldu. İslâm'a girişine dair hikayeyi hicret öncesi bahislerde naklettik. Rasûlullah (s.-a.v.)'ı İslâm selamıyla selamlayan ilk zat odur. Müslüman olduktan sonra beldesine ve kavmine döndü. Rasûlullah (s.a.v.), Medine'ye hicret edinceye kadar beldesinde kavmi arasında kaldı. Hendek gazvesinden sonra Medine'ye hicret etti. Bundan sonra hazarda ve seferde hep Rasûlullah'la beraber oldu. Ondan çok hadis rivayet etti. Kendisinin fazilet ve üstünlüğüne dair çok hadis nakledilmiştir. Bu hadislerin en meşhuru Abdullah b. Amr'dan rivayet edilen şu hadistir: Rasûlullah (s.a.v.) buyurdu ki:
"Ebu Zerr'den daha doğru sözlü birini yer taşımadı. Sema da gölgelendirmedi." Bu hadiste zayıflık vardır. Rasûlullah (s.a.v.) ve Ebu Bekir'in vefatlarından sonra Şam'a gitti. Orada kaldı. Ancak onunla Muaviye arasında anlaşmazlık baş gösterdi. Hz. Osman, onu Medine'ye çağırdı. Sonra Rabaza'ya yerleşti. Hicretin otuzikinci senesinin zilhicce ayında vefat edinceye kadar orada kaldı. Yanında karısından ve çocuklarından başka kimse yoktu. Vefat edince karısı ve çocukları onu defnedemediler. O esnada Abdullah b. Mesud, arkadaşlarından birkaç kişiyle birlikte Irak'tan geliyordu. Vefat etmek üzere olduğunu gördüler. Vefatından sonra kendisine ne yapacaklarını vasiyet etti. Başka bir rivayete göre ise vefatından sonra geldiler. Cenazesini yıkayıp defnettiler.
Ebu Zerr, vefatından sonra yemeleri için koyunlarından birini kesip pişirmelerini ailesine emretmişti. Hz. Osman, onun ailesine haber göndermiş, onları yanına alıp ailesiyle birlikte barındırıp beslemişti.