Abdurrahman bin Auf bisa menguasai hartanya tanpa harus diperbudak oleh hartanya tersebut. kekayaannya malah mengantarkannya ke puncak ketinggian akhlak.
Pada saat Umarbin Khaththab hendak berpisah dengan ruhnya (menjelang ajal). Saat itu dia telah memilih 6 orang dari tokoh sahabat sebagai calon penggantinya. Keenam sahabat inilah yang diharapkan bermusyawarah dan memilih salah seorang diantara mereka untuk menjadi khalifah baru.
Kelima orang lainnya sama-sama menunjuk kepada Abdurrahmah bin Auf. Mereka sepakat untuk mengangkat beliau menjadi khalifah baru. Bajkan sebagian sahabat telah menegaskan sebelumnya bahwa Abdurrahman bin Auf adalah orang yang lebih berhak sebagai khalifah diantara yang lainnya.
Tetapi Abdurrahman bin Auf berkata, “Demi Allah, daripada aku menerima jabatan itu, lebih baik kalian mengambil pisau, lalu taruh ke atas leherku. Kemudian kalain tusukkan sampai tembus ke sebelah!” Ketika orang lain telah sepakat memilihnya, beliau malah menolaknya.
Sikap zuhudnya terhadap jabatan inilah yang telah menempatkan dirinya sebagai hakim adil diantara lima orang tokoh terkemukan lainnya. mereka berlima kemudian sepakat menerima dengan senang hati siapapun yang dipilih oleh Abdurrahman bin Auf sebagai khalifah diantara mereka berlima. Maka oleh Abdurrahman bin Auf dipilihlah Utsman bin Affan sebagai khalifah selanjutnya, menggantikan Umar.
Ali bin Abi Thalib berkata, “Aku pernah mendengar Rasulullah saw bersabda bahwa anda adalah orang yang dipercaya oleh penduduk langit dan bumi.”
Pada tahun 32 hijriah Abdurrahman bin Auf meninggal. Siti Aisyah sempat ingin memberinya kemuliaan khusus yang tidak diberikannya kepada sahabat lain. sewaktu Abdurrahman bin Auf tengah terbaring di ranjang menunggu ajal menjemput, Aisyah menawarkan agar ia bersedia dikuburkan di pekarangan rumahnya, berdekatan dengan makam Rasulullah saw, Abu Bakar, dan Umar. Akan tetapi beliau justru merasa malu bila diangkat pada kedudukan yang menurutnya terlampau tinggi itu.
Ia ingat, dahulu ia telah terlebih dahulu membuat janji dan ikrar yang kuat dengan Utsman bin Madh’un bahwa bila salah seorang diantara mereka meninggal sesudah yang lain, maka hendaklah ia dikuburkan di dekat sahabatnya itu.
Ketika ajal akan menjemput, air mata beliau meleleh sedang lidahnya bergera-gerak seraya berucap, “Sesungguhnya aku khawatir dipisahkan dari sahabat-sahabatku karena kekayaanku yang melimpah ruah!” tetapi berkah dari Allah segera menyelimutinya. Satu senyuman tipis menghiasi wajahnya disebabkan sukacita dan kebahagiaan yang menenteramkan jiwa. Ia memasang telinganya untuk menangkap sesuatu, seolah-olah ada suara yang lembut serta merdu tengah datang mendekat. Saat itu beliau seperti sedang mengenang kebenaran sabda Rasulullah saw, yang menyebutkan bahwa ia berada di dalam surga, serta teringat janji Allah yang termuat dalalm surat AL Baqarah ayat 262:
orang-orang yang menafkahkan hartanya di jalan Allah, kemudian mereka tidak mengiringi apa yang dinafkahkannya itu dengan menyebut-nyebut pemberiannya dan dengan tidak menyakiti (perasaan si penerima), mereka memperoleh pahala di sisi Tuhan mereka. tidak ada kekhawatiran terhadap mereka dan tidak (pula) mereka bersedih hati.