Ketika datang utusan dari Yaman yang hendak menyatakan keislamannya, mereka meminta kepada Rasulullah agar mengirimkan seorang guru untuk mengajarkan Al Qur’an dan As sunnah, serta seluk beluk agma islam di negara mereka. Maka Rasulullah menjawab, “Baiklah, akan saya kirim bersama tuan-tuan orang yang terpercaya, benar-benar terpercaya, benar-benar terpercaya, benar-benar terpercaya.”
Saat mendengar pujian yang keluar langusung dari Rasulullah saw tersebut, para sahabat berharap agar pilihan itu jatuh kepada diri mereka masing-masing. Sebuah keberuntungan dan kehormatan yang tiada duanya bisa ditunjuk langsung oleh Rasulullah sendiri sebagai orang kepercayaan beliau.
Umar bin Khaththab menceritakan peristiwa bersejarah tersebut sebagai berikut. Umar berkata, “Aku tak pernah berangan-angan menjadi amir, tetapi aku sangat tertarik dengan ucapan beliau dan mengharapkan bahwa yang dimaksud beliau itu adalah aku. Aku cepat-cepat berangkat untuk salat dhuhur. Dan tatkala Rasulullah selesai mengimami kami salat dhuhur, beliau memberi salam, lalu menoleh ke sebelah kanan dan kiri. Maka saya pun mengulurkan badan agar tampak oleh beliau. Tetapi beliau masih juga melayangkan pandangannya, mencari-cari, hingga tampaklah Abu ‘Ubaidah. Maka dipanggillah ia sambil berkata, ‘Pergilah bersama mereka dan selesaikanlah apabila terjadi perselisihan di antara mereka dengan haq.’ Maka berangkatlah Abu ‘Ubaidah bersama orang-orang itu.”
Dengan peristiwa ini, bukan berarti bahwa Abu ‘Ubaidah merupakan satu-satunya sahabat yang mendapat kepercayaan dan tugas langsung dari Rasulullah saw. Abu ‘Ubaidah adalah salah seorang yang beruntung karena memperoleh kepercayaan serta tugas mulia yang dititahkan langsung oleh Rasulullah saw. Disamping itu, ia adalah salah seorang bahkan mungkin satu-satunya orang yang pada saat itu berprofesi sebagai dai.
Abu ‘Ubaidah tetap menjadi orang kepercayaan, walaupu Rasulullah telah wafat. Dengan penuh tanggung jawab, ia memikul semua amanah yang dibebankan di pundaknya.