Ilmu gharib al-hadis ini baru berkembang dan diperlukan setelah Nabi saw meninggal, terutama dengan semakin banyaknya orang masuk Islam, sehingga hadis sebagai salah satu pedoman sangat diperlukan, terutama bagi mereka yang kurang memahami bahasa Arab.
Oleh karenanya banyak ulama yang memulai menyusun karyanya dengan mengumpulkan kata-kata yang dianggap asing atau gharib. Hal ini dimulai akhir-akhir abad kedua dan awal-awal abad ketiga hijriyah.
Yang pertama kali menyusun kitab dalam bidang gharib al-hadis ini adalah Abu Hasan an-Nadhir ibn Syamil al-Mazani (w.203 H). Beliau adalah guru Ishaq ibn Rahawaih dan al-Bukhari, tetapi buku yang dihasilkannya tidak diketahui.
Muncul setelah beliau yaitu Ubaid al-Qasim ibn Salam (157-224) menulis buku Gharib al-Hadis.