Abu ‘Ubaidah namanya sangat terkenal sebagai pejuang islam. Kemana pun dia pergi, namanya selalu dielu-elukan. Keutamaan dan keberaniannya digambarkan melebihi seorang amir atau panglima. Walaupun begitu, ia memimpin pasukannya dengan penuh keikhlasan dan kerendahan hati, serta merasa tidak lebih dari seorang prajurit biasa.
Ketika Khalid bin Walid tengah mempin tentara islam dalam salah satu pertempuran besar yang sangat menentukan, tiba-tiba Umar bin Khaththab memutuskan untuk mengangkat Abu ‘Ubaidah sebagai panglima perang, menggantika Khalid. Saat mendengar perintah tersebut, Abu ‘Ubaidah pun tunduk dan patuh, namun ia meminta agar berita itu dirahasiakan di depan umum.
Ia sengaja tidak menyebarkannya agar hal itu tidak merusak konsentrasi Khalid bin Wlaid yang tengah berjuang untuk meraih kemenangan. Beliau sangat mengutamakan kepentingan umat daripada kepentingan pribadi.
Setelah kemenangan tercapai, barulah beliau menemui Khalid dengan penuh hormat. Diserahkannya surat penugasan dari Khalifah Umar, Khalid pun bertanya, “Semoga Allah memberimu rahmat wahai Abu ‘Ubaidah, apa sebabnya anda tidak menyampaikannya kepadaku di waktu datangnya?”
Maka Abu ‘Ubaidah menjawab, “Saya tidak ingin mematahkan ujung tombak anda. Bukan kekuasaan dunia yang kita tuju, baukan pula untuk dunia kita beramal. Kita semua bersaudara karena Allah.”
Abu ‘Ubaidah menjadi panglima besar di Syria. Di bawah kekuasaannya, bernaung sebagian besar tentara islam, baik dalam hal luas wilayahnya maupun dalam jumlah perbekalan dan bilangannya. Walaupun memimpin pasukan besar, penampilan dan perilaku beliau seperti prajurit biasa.
Ketika dia mendengar bahwa banyak orang yang mengagumi dirinya, beliau memanggil orang-orang tersebut. kemudian berbicara, “Hai umat manusia, sesungguhnya saya ini adalah seorang muslim dari suku Quraisy. Dan siapa saja diantara kalian, baik ia berkulit hitam atau merah yang lebih takwa daripada aku, hatiku ingin sekali berada dalam bimbingannya.