ثم أصاب البيت سيل و يقال حريق و تهدم و أعادوا بناءه و جمعوا النفقة لذلك من أموالهم و انكسرت سفينة بساحل جدة فاشتروا خشبها للسقف و كانت جدرانه فوق القامة فجعلوها ثماني عشرة ذراعاً و كان الباب لاصقاً بالأرض فجعلوه فوق القامة لئلا تدخله السيول و قصرت بهم النفقة عن إتمامه فقصروا عن قواعده و تركوا منه ست أذرع و شبراً أداروها بجدار قصير يطاف من ورائه و هو الحجر و بقي البيت على هذا البناء إلى أن تحصن ابن الزبير بمكة حين دعا لنفسه و زحفت إليه جيوش يزيد بن معاوية مع الحصين بن نمير السكوني. و رمى البيت سنة أربع و ستين فأصابه حريق، يقال من النفط الذي رموا به على ابن الزبير فتصدعت حيطانه فهدمه ابن الزبير فأعاد بناءه أحسن مما كان بعد أن اختلفت عليه الصحابة في بنائه. و احتج عليهم بقول رسول الله صلى الله عليه و سلم لعائشة رضي الله عنها، لولا قومك حديثو عهد بكفر لرددت البيت على قواعد إبراهيم و لجعلت له بابين شرقياً و غربياً فهدمه و كشف عن أساس إبراهيم عليه السلام و جمع الوجوه و الأكابر حتى عاينوه و أشار عليه ابن عباس بالتحري في حفظ القبلة على الناس فأدار على الأساس الخشب و نصب من فوقها الأستار حفظاً للقبلة و بعث إلى صنعاء في الفضة و الكلس فحملها. وسأل عن مقطع الحجارة الأول فجمع منها ما احتاج إليه ثم شرع في البناء على أساس إبراهيم عليه السلام و رفع في جدرانها سبعاً و عشرين ذراعاً و جعل لها بابين لاصقين بالأرض كما روى في حديثه و جعل فرشها و إزرها بالرخام و صاغ لها المفاتيح و صفائح الأبواب من الذهب. ثم جاء الحجاج لحصاره أيام عبد الملك و رمى على المسجد بالمنجنيقات إلى أن تصدعت حيطانها. ثم لما ظفر بابن الزبير شاور عبد الملك فيما بناه و زاده في البيت فأمره بهدمه و رد البيت على قواعد قريش كما هي اليوم. و يقال: أنه ندم على ذلك حين علم صحة رواية ابن الزبير لحديث عائشة، و قال وددت أني كنت حملت أبا حبيب في أمر البيت و بنائه ما تحمل. فهدم الحجاج منها ست أذرع و شبراً مكان الحجر و بناها على أساس قريش و سد الباب الغربي و ما تحت عتبة بابها اليوم من الباب الشرقي.