Bu senenin muharrem ayında Sa'd b. Ebi Vakkas, Medain'den ayrılıp Kûfe'ye gitti. Çünkü sahabeler, Medain şehrinin havasını beğenmemişlerdi. Onlar bu havadan rahatsız olmuş, renkleri değişmiş ve vücutları zayıflamıştı. Medain'de kara sinek ve toz çoktu. Sa'd, bu hususta Hz.Ömer'e bir mektup yazıp fikrini sordu. Hz. Ömer de ona:"Âraplara ancak develerine uygun gelen yerler de yaşamak münasibtir." diye yazdı. Bunun üzerine Sa'd, Müslümanlar için münasib bir ikamet mahalli araştırıp bulmak üzere Hüzeyfe ile Selman b. Ziyad'ı görevlendirip yola çıkardı. Bunlar Küfe toprağına geldiler. Orası, çakılllı ve kırmızı kumlu bir yerdi. Orayı beğendiler. Orada üç kilise ve de kamıştan yapılma evler gördüler. Kiliselerden birinin adı Deyri Hareke binti Numan, diğerinin adı Deyri Ümmü Amr, üçüncüsünün adı da Deyri Silsile idi. Huzeyfe ile Selman inip orada namaz kıldılar. Her biri şöyle dua etti:
"Ey göklerin ve göklerin altında gölgelenen şeylerin Rabbı! Ey yeryüzünün ve yeryüzünün üzerinde bulunan şeylerin RabbıîEy rüzgarların ve rüzgarlar tarafından savrulan şeylerin Rabbı! Ey yıldızların ve düşenlerinin Rabbı! Ey denizlerin ve denizler tarafından sürüklenen şeylerin Rabbı! Ey şeytanların ve şeytanlar tarafından saptırılan kimselerin Rabbı! Ey kulübelerin ve kulübeler içinde saklananların Rabbı! Şu Kûfe'yi bizim için bereketli ve uğurlu kıl. Burayı daimi bir menzil
yap."
Namaz kılıp dualarını tamamladıktan sonra ikisi de durumu Sa'd'a bildiren bir mektup yazıp gönderdiler. Sa'd da Kûfe'yi şehir haline getirmelerini emretti. Kendisi de hicri onyedihci senenin muharrem ayında oraya gitti. Orada ilk bina olarak bir mescit inşa ettiler. Sa'd, uzak mesafelere ok atan bir adama emir verdi. O adam da mescidin dört bir yanına ok attı. Okların düştüğü yerlerde halkın evler yapmalarına müsaade etti. Halk da oralarda evler inşa ettiler. Sa'd, mescidin mihrabı karşısında hükümet konağı ve beytü'1-mal binasını inşa ettirdi. Yaptıkları ilk binalar kamıştandı. Ancak bu binalar aynı senede yandılar. Durumu Hz. Ömer'e bildirdiklerinde o, israfa kaçmamaları ve haddi aşmamaları şartıyla kerpiçten binalar yapmalarını emretti. Sa'd, emir ve kabilelere haber gönderdi. Yanma geldiler, onları Kûfe'ye yerleştirdi. Sa'd, Ebu Hiyac'ı insanları Kûfe'ye yerleştirmek ve orayı imar etmek vazifesiyle görevlendirdi. Ana cadde için yirmi üç ziralık yer bırakmalarım, sokaklar içinde yedi ziralık yer bırakmalarını emretti.
Sa'd'm kendisi için de çarşıya yakın bir yerde köşk yapıldı. İnsanların yüksek sesle konuşmaları Sa'd'ı rahatsız etti. Kapısını kilitleyerek: "Sesinizi kısın." dedi. Onun bu sözünü duyan Hz. Ömer, Muhammed b. Mesleme'yi oraya gönderdi. Muhammed'e Kûfe'ye vardığı zaman çakmağını çakıp odunları tutuşturmasını ve Sa'd'ın köşkünü yakmasını, sonra da hemen Medine'ye dönmesini emretti. Muhammed b. Mesleme Kûfe'ye varır varmaz Hz. Ömer'in emrini- yerine getirdikten sonra Sa'd'a da insanların yüzüne kapısını kilitlememesini, insanların içeriye girmelerine engel olacak bir nöbetçiyi kapısına bırakmamasını emretti. Sa'd da bu emre uydu. Muhammed b. Mesleme'ye biraz mal vermek istediyse de Muhammed, onun vermek istediği malı kabul etmedi. Sonra Medine'ye döndü. Sa'd da bundan sonra Kûfe'de üç buçuk sene valilik yaptı. Nihayet Hz.Ömer, onu bu görevinden aldı. Ancak o, acizliğinden veya hainliğinden ötürü görevden alınmış değildi.