Nama panggilannya adalah Abu Musa. Orang tuanya adalah salah seorang sahabat Rasulullah saw. Beliau termasuk sahabat yang masih muda, ahli ibadah, dan wara’. Beliau banyak sekali melakukan salat, terlebih salat malam. Begitu juga dalam hal puasa, beliau sangat tekun dalam menjalankan puasa hari ‘Asyura.
Abdullah bin Yazid tidak dapat mengikuti perang Badar dan perang Uhud. Sebab pada waktu itu beliau msaih kecil dan belum memenuhi syarat untuk berperang.
Beliau bangga bisa ikut serta dalam Bai’atus Syajarah/Bai’atur Ridhwan (sumpah setia kepada Rasulullah saw di bawah pohon kurma) meskipun ia masih anak-anak. Saat itu usianya baru 17 tahun.
Beliau turut menumpas kaum murtadin dan orang-orang yang tidak mau mengeluarkan zakat selama masa khalifah Abu Bakar. Beliau juga ikut serta mengembangkan panji islam ke Timr Tengah lainnya selama masa khalifah Utsman dan khalifah Umar.
Ketika terjadi perpecahan selama masa khalifah Ali, beliau berpihak sepenuhnya kepada Ali, termasuk dalam peristiwa perang Shiffin (perang pertama antara umat islam pada tahun 657 M antara kubu Ali dengan Mu’awiyah).
Beliau juga pernah menjabat walikota Kufah dari pihak khalifah Ali. Beliau pernah memiliki sekretaris bernama Sya’bi, seorang tabi’in yang terkenal.
Keadaan politik yang tidak menentu pada masa itu mencapai puncaknya dengan pengunduran diri Hasan bin Ali sebagai khalifah, yang kemudian menyerahkannya pada Mu’awiyah. Hal ini menyebabkan Abdullah untuk sementara hanya berdiam diri di rumahnya, di kota Kufah, sambil mengajarkan agama kepada masyarakat.
Selama masa khalifah Mu’awiyah, Abdullah hanya muncul sesekali di hadapan publik, yakni dalam acara pengajian-pengajian. Setelah khalifah Mu’awiyah wafat pada tahun 60 H, beliau lebih banyak menampilkan diri di tengah-tengah masyarakat demi menegakkan islam.
Khalifah Yazid bin Mu’awiyah (yang ditunjuk menggantikan ayahnya), ternyata tidak memenuhi syarat sebagai khalifah yang baik.
Beliau kemudian mengadakan surat menyurat dengan Abdullan bin Zubair, yang kala itu telah berhasil menguasai daerah Hijaz (Makkah dan sekitarnya), yang juga tidak setuju dengan kepemimpinan Yazid. Beliau berangkat ke Makkah untuk berjuang bersama-sama dengan rekannya Abdullah bin Zubair dalam menentang pemerintahan yang zhalim.
Di Makkah, beliau sempat menjabat sebagai walikota dari pihak Khalifah Abdullah bin Zubair. Tetapi karena dorongan takwa dan wara’ nya, ia pun mengundurkan diri dari dunia politik. Namun begitu, ia tetap tinggal di kota Makkah, dan mengisi hari-harinya dengan ibadah.
Setelah itu beliau kembali ke Kufah dan meninggal disana. Beliau wafat pada masa khalifah Abdullah bin Zubair, tepatnya tahun 73 H.