و نقل أيضاً أن الفرس كانت تحجه و تقرب إليه و أن غزالي الذهب اللذين وجدهما عبد المطلب حين احتقر زمزم كانا من قرابينهم. و لم يزل لجرهم الولاية عليه من بعد ولد إسماعيل من قبل خؤولتهم حتى إذا خرجت خزاعة و أقاموا بها بعدهم ما شاء الله. ثم كثر ولد إسماعيل و انتشروا و تشعبوا إلى كنانة ثم كنانة إلى قريش و غيرهم و ساءت ولاية خزاعة فغلبتهم قريش على أمره و أخرجوهم من البيت و ملكوا عليهم يومئذ قصي بن كلاب فبنى البيت و سقفه بخشب الدوم و جريد النخل و قال الأعشى:
خلفت بثوبي راهب الدور و التي بناها قصي و المضاض بن جرهم