Künyesi Ebu Kasım el-Hazzaz'dır. Kendisine el-Kavarirî denildiği de söylenir. Aslen Nihavendlidir. Bağdat'ta doğmuş, orada büyümüş olup Hüseyin b. Arefe'den hadis dinlemiş, Ebu Sevr İbrahim b. Halid el~Kelbî'den de fıkıh dersleri almıştır. Kendisi yirmi yaşında iken Ebu Sevr'in huzurunda fetva verirmiş.
Cüneyd'in biyografisini "Tabakatü'ş~Şafîiye"de anlatmışızdır. Haris el-Muhasibî ile dayısı Sırri esSakatî'nin arkadaşı olmakla meşhur olmuştur. Kendini ibadete vermişti. Bu sebeple Cenâb-ı Allah, ona birçok ilimlerin kapılarını açtı. Sofiye mesleğinden bahsetti. Her gün üçyüz rekat namaz kılmayı ve 30.000 teşbih getirmeyi kendine vird edindi. Kırk sene müddetle yatağa uzanmadı. Kendi zamanında başkalarına nasib olmayacak kadar derin ilme sahip oldu. Faydalı ilimler Öğrendi. Salih ameller işledi.
Çeşitli ilimlerden haberdardı. Kendisine bir soru yöneltildiğinde asla duraklamaz ve verdiği cevapta da yanılmaz, hata etmezdi. Hatta bir meselede çeşitli vecihlerle cevap verirdi ki, bu cevaplar diğer âlimlerin aklından bile geçmezdi. Tasavvufta ve diğer fenlerde de aynı şekilde derin vukufu vardı. Ölüm hastalığına yakalandığında bile namaz kılmaya, Kur'ân okumaya devam etti. Kendisine: "Bu halde bari kendine acı, kendini yorma." dediklerinde; "Şu anda bu işe benden daha muhtaç biri yoktur. Artık amel defterimin dürülmesi zamanı gelmiştir." diye cevap vermişti.
İbn Hallikan dedi ki: "Cüneyd, fıkıh ilmini Ebu Sevrî'den öğrendi." Anlatıldığına göre o, Süfyan-ı Sevrî'nin mezhebine salik olmuştur.
İbn Serih, ona arkadaşlık eder ve yanından ayrılmazdı. Hatta başkalarının aklından geçmeyecek fikhi bilgileri ondan öğrendi. Anlatıldığına göre bir defasında ona bir soru sorulmuş, o da bu soruya çeşitli yönlerden birçok cevaplar vermişti.
İbn Serih ona: "Ey Ebü'l-Kasım, ben bu sorunun sadece üç cevabını anlayabildim, sen verdiğin diğer cevaplan da yeniden bana tekrarla." demiş, o da verdiği cevapları başka cevaplar ekleyerek tekrarlamıştı. İbn Serih: "Vallahi, ben bugüne kadar bu cevapları duymamıştım. Sen yine tekrarla." deyince Cüneyd, yeniden başka cevaplar ekleyerek eskilerini tekrarladı. Bu defa İbn Serih: "Ben böyle cevapları duymamışım, sen bunları bana tekrar oku ki, yazayım." deyince Cüneyd ona şöyle demişti: "Eğer tekrar sana söyleyebilecek olsam ben kendim yazarım." Yani, bunları kalbime ilham eden ve dilimle telaffuz ettiren Cenâb-ı Allah'tır. Yoksa ben bunları başkalarından ders alarak veya kitaplardan okuyarak öğrenmiş değilim. Bu, Aziz ve Celil olan Allah'ın bana bir lütfudur ki, bana ilham ediyor ve dilime getiriyor.
İbn Serih ona: "Sen bu ilmi .nereden öğrendin?" diye sorunca Cüneyd şu cevabı vermişti: "Yüce Allah'ın huzurunda kırk sene müddetle oturduğumdan ötürü bu ilmi öğrendim."
Sahih rivayete göre Cüneyd, Süfyan-ı Sevrî'nin mezhebine salik olmuş, onun yolundan gitmiştir. Doğrusunu Allah bilir.
Cüneyd'e, arifin kim olduğunu sorduklarında şu cevabı vermişti: "Sustuğun halde senin sırrını söyleyebilen kimsedir."
Cüneyd şöyle demişti: "Bizim şu mezhebimiz kitap ve sünnetle mukayyedtir. Bir kimse Kur'ân okumayıp hadis yazarsa bu mezhebimizde ve yolumuzda ona uyulmaz."
Adamın biri Cüneyd'in elinde sağa sola sallayıp oynattığı bir teşbih görmüş ve ona: "Bu kadar şerefli olduğun halde teşbihle mi oynu-yorsun?" diye sormuş. Cüneyd de şu cevabı vermişti: "Ben bu teşbih ile Allah'a ulaştım, artık bu yoldan ayrılmam."
Dayısı Sırri ona: "İnsanlara vaaz ver, onlarla konuş." demiş, ancak o kendini buna ehil görmemişti. Rüyada Rasûlullah (s.a.v.)'ın kendisine, "İnsanlara vaaz ver." dediğini duyunca, ertesi sabah dayısının yanma gitti, vaaz verebileceğini söyledi. Dayısı Sırri ona: "Rasûlullah (s.a.v) sana emir vermeden bu hususta beni dinlememiştin." diye karşılık verdi. Cüneyd de artık o günden sonra halka vaaz vermeye başladı.
Bir gün Hristiyan bir genç Müslüman kılığına bürünerek yanına geldi ve ona: "Ey Ebü'l-Kasım; Rasûlullah (s.a.v.)'m şu hadisinin manası nedir?" diye sordu. Hristiyan gencin manasını sorduğu hadis Şuydu:
«Mü'minin ferasetinden sakının, çünkü o Allah'ın nuru ile bakar.» Cüneyd başını önüne eğdi, sonra kaldırıp şöyle dedi: "Müslüman °1> artık Müslüman olmanın vakti gelmiştir!" Bunun üzerine o Hristiyan genç hemen Müslüman oldu.
Cüneyd dedi ki: «Bir odada oturmakta olan bir cariyeden duyduğum şu beyitlerden yararlandığım kadar başka hiçbir şeyden yararlanmış değilim. Cariyenin okuduğu beyitler şunlardı;
«"Ayrılık bana bela elbiselerini hediye etti" dediğimde sen diyorsun ki; "Eğer ayrılık olmasaydı aşk hoş olmazdı."
Ben; "Aşk ateşi bu gönlümü yaktı!" dediğimde sen bana diyorsun ki: "Aşk ateşi gönlün şerefidir."
Ben: "Ne günah işledim ki?" dediğimde sen bana cevaben diyorsun ki: "Senin hayatın günahtır, Öyle bir günah ki başka günahlarla mukayese edilemez.»
Evet, cariyeden bu beyitleri dinleyince çığlık atıp yere düştüm ve bayıldım. Ev sahibi yanıma geldi, ayıldığımda bana: "Ey efendim, sana ne oldu?" diye sordu. Ben de: "Cariyeden dinlediğim beyitler beni bu hale getirdi." diye cevap verdim. Ev sahibi: "Cariye benden sana armağan olsun." deyince ben: "Armağanını kabul ettim. O, Allah rızası için hürdür." dedim. Sonra cariyeyi alıp bir erkekle evlendirdim. O erkeğe öyle salih bir evlat doğurdu ki, o oğlu, otuz kez yaya olarak Mekke'ye gidip haccetti.»