Pada masa pemerintahan khalifah ketiga, Abu Dzar pindah ke Syria. Ia menyaksikan bahwa gubernur Mu’awiyah hidup bermewah-mewahan. Bahkan, gubernur tersebut memusatkan kekuasaannya dengan bantuan bangsawan dan pejabat yang mendapat hak istimewa, dan dengan itulah mereka telah menumpuk harta secara melimpah ruah.
Ajarn egaliter yang dibawa Abu Dzar telah membuat massa bangkit dan melawan penguasa dari dinasti Mu’awiyah. Akibatnya, ia seperti duri dalam daging bagi pemerintah. Ketika Mu’awiyah membangun istana hijaunya yang bernama Al Khizra, ia langsung ditegur oleh Abu Dzar. Beliau berkata, “Kalau anda membangun istana ini dari uang negara, berarti anda telah menyalahgunakan uang negara. Kalau anda membangunnya dengan uang anda sendiri, berarti anda melakukan ‘israf (pemborosan).”
Mendengar teguran ini, Mu’awiyah hanya tertegun dan tidak dapat menjawab. Mu’awiyah berusaha agar Abu Dzar tidak meneruskan ajarannya. Dia mengatur pertemuan untuk diskusi antara Abu Dzar dengan ahli-ahli agama islam. Tetapi para ahli itu tetap tidak bisa mempengaruhinya. Akhirnya, Mu’awiyah melarang rakyat berhubungan atau mendengarkan pengajarannya. Tapi, rakyat ternyata masih tetap meminta nasihat Abu Dzar.
Mu’awiyah mengadu kepada khalifah Utsman. Ia mengatakan bahwa Abu Dzar telah mengajarkan kebencian antar kelas di Syria.
Abu Dzar dipanggil menghadap khalifah di Madinah. Ketika beliau hampir tiba di Madinah, saat itu posisinya masih jauh di luar kota, banyak penduduk Madinah untuk menyambutnya. Sahabat Rasulullah itu menerima ucapan selamat datang yang begitu hangat dari orang-orang yang sangat mencintainya.
Di Madinah Abu Dzar tidak dapat hidup tenteram. Sebagaian orang kaya di kota itu tetap mengkawatirkan aktivitasnya yang menganjurkan pemerataan penyaluran harta kekayaan. Akhirnya beliau dipertemukan oleh Khalifah Utsman dengan Kaab Ahbar. Dia bertanya kepada Abu Dzar apa yang diinginkannya dengan mempertahankan hukum warisan islam dalam yurisprudensi muslim, padahal islam tidak mengizinkan penumpukan harta. Diskusi itu pun tidak membawa hasil.
Utsman kemudian meminta Abu Dzar meninggalkan Madinah dan tinggal di Rabza, sebuah kampung kecil yang terletak di jalur antara Irak Madinah.
Musuh-musuh islam, seperti Abdullah bin Saba kemudian mencoba memanas-manasi keadaan dengan mengajak beliau untuk memberontak kepada khalifah. Namun, Abu Dzar justru marah kepadanya dan berkata, “Walaupun Utsman menggantungku di bukit yang paling tinggi sekalipun, aku tidak akan mengangkat jariku untuk melawannya.”
Abu Dzar tunduk pada pemerintah yang memegang pusat kekuasaan islam. Dengan patuh, beliau melaksanakan perintah supaya pindah ke Razba. Beliau tinggal di kota itu hingga wafat tanggal 8 dzulhijjah tahun 32 hijriyah. Jasadnya terbaring di jalur yang biasa dilalui kafilah perdagangan dan hanya ditunggui jandanya. Tampaknya, waktu itu tidak ada seorang pun yang hendak membantu menguburkannya.
Tiba-tiba, muncul serombongan kafilah haji yang sedang menuju Makkah. Ketika diberitahukan bahwa mayat itu adalah Abu Dzar, sahabat Rasulullah yang terpuji, mereka segera memutuskan untuk berhenti disana. Kemudian jenazah Abu Dzar disalatkan dengan dipimpin Abdullah bin Mas’ud.
Begitulah sosok Abu Dzar, sehingga Ali berkata, “Saat ini, tidak ada satu orang pun di dunia, kecuali Abu Dzar, yang tidak takut kepada semburan tuduhan yang diucapkan oleh penjahat agama, bahkan saya sendiri pun bukan yang terkecuali.”