Abu Ubaidah bin Jarrah merupakan orang yang dipegang dengan tangan kanan Rasulullah sebagai orang kepercayaan umat. Beliau juga merupakan orang yang dikirim Rasulullah ke medan tempur Dzatus Salasil sebagai bantuan bagi Amar bin ‘Ash, dan diangkatnya sebagai panglima dari suatu pasukan yang di dalamnya terdapat Abu Bakar dan Umar.
Rasulullah pernah bersabda, “Sesungguhnya setiap umat mempunyai orang kepercayaan, dan sesungguhnya kepercayaan umat ini adalah Abu Ubaidah bin Jarrah.”
Umar bin Khaththab juga berkata, “Seandainya Abu ‘Ubaidah bin Jarrah masih hidup, tentulah ia diantara orang-orang yang akan saya angkat sebagai penggantiku. Dan jika Tuhanku menanyakan hal itu, tentulah saya menjawab, ‘Saya angkat kepercayaan Allah dan kepercayaan Rasul-Nya.”
Abu ‘Ubaidah masuk islam melalui Abu Bakar Shiddiq di awal masa kerasulan, yakni sebelum Rasulullah mengambil rumah Arqam sebagai tempat dakwah. Ia ikut hijrah ke Habsyi pada kesempatan kedua. Lalu, ia kembali pulang agar dapat mendampingi Rasulullah di perang Badar, perang Uhud, dan pertempuran lainnya. sepeninggal Rasulullah, ia melanjutkan pengabdiannya terhadap islam sebagai seorang kuat yang dipercaya mendampingi Abu Bakar dan Umar.
Beliau terkenal sebagai orang yang mengesampingkan kemewahan, teguh memegang tanggung jawab keagamaan, dan benar-benar menjaga kezuhudan diri serta ketakwaan. Ketika Abu ‘Ubaidah melakukan baiat atau sumpah setia kepada Rasulullah bahwa akan membaktikan hidupnya di jalan Allah, ia menyadari sepenuhnya maksud dari berjuang di jalan Allah. beliau benar-benar mempersiapkan jihadnya dengan sempurna. Diserahkannya apa saja yang diperlukan untuk kemajuan dakwah islam.
Semenjak menjadi muslim, Abu ‘Ubaidah tidak pernah mengutamakan kepentingan pribadi dan masa depannya. Seluruh kehidupannya dihabiskan untuk mengemban amanat yang dititipkan Allah kepadanya. Segenap kemampuannya dicurahkan di jalan Allah.
Rasulullah menyaksikan pengabdian Abu ‘Ubaidah yang luar biasa. Begitu besar pengabdiannya dan begitu teguh pelayanannya, sehingga membuatnya layak menerima gelar mulia yang disematkan sendiri oleh Rasulullah saw.