Bu görev devir tesliminden sonra Şam emirliği, Ebu Ubeyde'nin uhdesine verildi. Ebu Ubeyde, "emirü'l-ümera" unvanını alan ilk komutan oldu.
Önceki sayfalarda da anlatıldığı gibi ulak, Ebu Bekir'in vefat haberini getirdiği zaman Müslümanlar, Yermük savaşında Bizanslılarla karşı karşıya gelmiş olup çarpışmakta idiler. Halid b. Velid, bu haberi -aralarında gevşeme olmasın diye- Yermük'te bulunan Müslümanlardan gizledi. Sabahladıklarında durumu onlara açıklayıp konu hakkında konuşma yaptı. Sonra Ebu Ubeyde, ganimetleri toplamaya ve beşte birini ayırmaya başladı. Ayırdığı beşte birlik kısmı ve fetih müjdesini Kubab b. Eşyem'le birlikte Hicaz'a gönderdi. Sonra da Şam'a hareket edileceğini askerlere duyurdu. Ordu harekete geçti, yola çıktı. Mercü's-Sifr denen yere varıp konakladılar. Ebu Ubeyde, keşifçi olarak iki arkadaşıyla birlikte Ebu Umame el-Bahilf yi gönderdi.
Ebu Umame, bu konuda şöyle der: Yola çıktık..Yolun bir kısmını geride bıraktıktan sonra diğer arkadaşımı da pusuya yatırdım. Yalnız başıma gidip şehir kapısının yanına vardım. Kapı geceleyin kilitliydi. Oracıkta kimseler yoktu. Bineğimden indim. Mızrağımı yere diktim. Atımın gemini çıkardım, yem torbasını boynuna asıp uykuya daldım. Sabah olunca kalkıp abdest aldım. Sabah namazını kıldım. Şehir kapısının gıcırdamakta olduğunu işittim. Kapı açılınca kapıcıya saldırdım. Onu mızraklayıp öldürdüm. Geri döndüm ama düşman askerleri beni kovalamaya başladılar. Yolda pusuya yatırdığım arkadaşımın yakınına geldiğimde orada pusuda yatmakta olan bir birlik olduğunu sanarak geri döndüler. Sonra arkadaşımla birlikte yola çıktık. Diğer arkadaşımızın yanına varıp onu da saklandığı yerden çıkardık. Ebu Ubeyde'nin yanma vardık, durumu ve gördüklerimi kendisine haber verdim. Ebu Ubeyde de Şam hakkında ne yapacağım bildirmesi için Hz. Ömer'in mektubunu beklemeye başladı. Nihayet beklenen mektup geldi. Mektupta Ebu Ubeyde'ye, Şam'a gidilmesi emrediliyordu. Ebu Ubeyde, askerleriyle birlikte Şam'a gitti ve nihayet orayı kuşattı. Ebu Ubeyde, Yermük'te yerine vekil olarak Beşir b. KaVı bir miktar süvariyle birlikte bırakmıştı.