Abdullah bin Mas’ud diangkat oleh Amirul Mukminin Umar sebagai bendaharawan di kota Kufah. Kepada penduduk kota itu, Ibnu Mas’ud berkata, “Demi Allah yang tiada Tuhan melainkan Dia, sungguh saya lebih mementingkan tuan-tuan daripada diriku, maka ambillah dan pelajarilah ilmu daripadanya!”
Dan, penduduk Kufah pun telah mencintainya, suatu hal yang belum pernah terjadi pada pejabat sebelumnya. Karena biasanya penduduk Kufah memberontak dan menentang. Mereka tidak tahan menghadapi pemerintahan yang sebelumnya, pemerintah yang membuat kehidupan mereka jauh dari rasa aman.
Karena kecintaan mereka kepada Ibnu Mas’ud, mereka sampai mengerumuni dan mendesaknya sewaktu ia hendak diberhentikan oleh Khalifah Utsman dari jabatannya.
Mereka berkata, “Tetaplah anda tinggal bersama kami disini dan jangan pergi. Kami bersedia membela anda dari malapetaka yang menimpa anda.”
Tetapi Ibnu Mas’ud menjawab, “Saya harus taat kepadanya. Di belakang hari akan timbul fitnah, dan saya tidak ingin menjadi orang yang mula-mula membukakan pintunya.”
Diantara Ibnu Mas’ud dan khalifah Utsman tengah menghadapi cobaan. Diantara mereka memang telah terjadi perdebatan dan perselisihan yang makin lama makin sengit, hingga gaji dan tunjangan pensiunan Ibnu Mas’ud ditahan di Baitul Mal.
Walaupun demikian, tidak ada satu patah kata pun yang tidak baik yang keluar dari mulutnya mengenai Utsman. Bahkan, ia berdiri sebagai pembela dan turut memperingatkan rakyat ketika dilihatnya persekongkolan di masa pemerintahan Utsman itu telah meningkat menjadi
Salah seorang teman Ibnu Mas’ud ada yang berkata, “Tak pernah saya dengar Ibnu Mas’ud mengeluarkan cercaan satu kata pun terhadap Utsman.”
Dan ketika ia mendengar ada berita mengenai percobaan pembunuhan terhadap khalifah Utsman, ia berkata, “Sekiranya mereka membunuhnya, maka tak ada lagi orang yang sebanding dengannya yang akan mereka angkat sebagai khalifah.” Dan perkataan beliau ini menjadi sangat terkenal hingga saat ini.