尽管回族是国内一个少数民族，在祖源上并不单一。他们的祖先可能追溯到阿拉伯人、波斯人、中亚人和蒙古人。他们通过几次浪潮进入中国。第一个阿拉伯使团来中国是651年（唐朝），即先知穆罕默德去世后十九年、征服波斯后一年。从那时起，主要是阿拉伯人、也有一部分波斯商人定居在东南沿海一带。758年，唐朝皇帝请求巴格达阿拔斯哈里发派兵两万以帮助平定安禄山叛乱。事后，阿拉伯和波斯士兵留驻在中国，居住在西北地区宁夏、甘肃地区。801年，吐蕃在和西南地区云南的南诏王国交战时雇佣了二万阿拉伯和粟特雇佣军。尽管吐蕃战败，穆斯林士兵仍然留驻该地区。另一个移民浪潮在1070年和1080年，一万五千名阿拉伯士兵在北宋皇帝的邀请下在北宋东北地区和扩张的契丹帝国（大辽）之间建立了一道缓冲区域。
然而，回族最大的部分系出1270年左右蒙古统治者忽必烈汗作为后备军带到中国的二、三百万中亚穆斯林。1279年，这些人帮助忽必烈汗征服南方。此后，他们定居中国，成为商人、农民和工匠。
忽必烈汗的一个孙子 – 阿难答由波斯的穆斯林继父母抚养成人。1285年，阿难答成为安西王。安西包括被征服的地跨甘肃、宁夏和四川的唐古特王国（西夏）。唐古特人信仰藏传佛教和汉传佛教的一种混合形式。1295年，阿难答和他的侄子 – 西突厥斯坦伊利汗国的合赞汗一道皈依了伊斯兰教。结果，十五万强大的安西蒙古兵和大多数唐古特人也接受了伊斯兰教信仰。因此，至1368年即元朝末年，回族已经成为中国最大的少数民族。