Sa'd (r.a), Medâin'e yerleşerek, fethedilen toprakların idarî yapısını oluşturmaya çalıştı. Medâin'in havası, askerlerin sıhhatini olumsuz yönde etkilediği için, Hz. Ömer (r.a)'ın onayı alınarak yerleşime ve ordunun askerî stratejisine uygun bir konumda olan Küfe, ordugâh şehir haline getirildi. Sa'd bölge valisi olarak Kûfe'de üç buçuk yıl kalmıştır. O, tekrar toparlanıp kaybettikleri yerleri geri almak için hazırlıklara girişen İranlıların hareketlerini takip ediyor ve gerekli askerî önlemleri almaya çalışıyordu. Ancak tam bu sıralarda Kûfe'de bir topluluk, Hz. Sa'd'ı ganimetleri adil dağıtmadığı ve gaza işlerinde gevşek davrandığı yolunda iddialarla Hz. Ömer (r.a)'a şikayet etti. Ayrıca onun namaz kıldırış tarzını da beğenmiyorlardı. Hz. Ömer (r.a) meseleyi inceletmiş; yapılan şikayetlerin asılsız olduğunu anlamış olmakla birlikte, maslahatı gözeterek onu geri çağırmıştı (Asr-ı Saadet, I, 432 vd.).
Sa'd (r.a), Hz. Osman (r.a)'ın şehid edilişiyle başlayan fitnelerden tamamen uzak kalmaya gayret etmiştir. O, kendisine gelenlere şöyle diyordu: "Bana, iki gözü, dili ve iki dudağı olan ve şu kâfirdir, şu mü'mindir diyen bir kılıç getirilinceye kadar asla kimseyle savaşmam" (İbn Sa'd, a.g.e., III,143; Üsdül-?âbe, II, 368). Sa'd (r.a), güçlü bir kişiliğe ve siyasî desteğe sahip olduğu halde, riyaset çekişmelerinin içine girmekten ömrünün son günlerine kadar kaçınmıştır. Oğlu Ömer ve kardeşinin oğlu Haşim gidip ona; "Yüz bin kılıç sahibi var ki, hepsi seni hilafet için en liyakatli adam tanıyor" dediklerinde onun buna verdiği cevap şu olmuştu: "Bu sizin yüz bin kılıcınızdan daha kuvvetli tek bir kılıç, mü'mine çekilince onu kesmeyen, kâfire karşı sıyrılınca onu kesen kılıçtır" (Asrı Saadet, I, 436). Onun bu anlamlı sözleri, müslümanların birbirlerine zarar vermelerine karşı ne kadar hassas olduğunu ifade etmektedir.
Sa'd (r.a), Hicrî 55 yılında ikâmet etmekte olduğu Medine'nin dışındaki Akik vadisinde vefat etmiştir. Onun vefat tarihi hakkında, 54 ila 58 tarihleri arasında değişen farklı rivâyetler bulunmaktadır (Üsdül-?âbe, II, 369).