ان المتتبع للمصادر التاريخية يلاحظ على ان نواة مكتبة الحرم المكي الشريف كانت موجودة في عهد الخلافة العباسية حيث أشارت الدراسات التاريخية الى انه كان بالمسجد الحرام خزائن للكتب داخل أحدى القبتين التى أنشاهما الخليفة ( المهدي بن ابي جعفر المنصور العباسي ) فكانت جوار بئر زمزم من الجهة الشرقية قبة على حوض السقاية التى كان العباس يسقي منه الحجاج والقبة الأخرى تضمنت بيت المحفوظات التى كانت تحفظ فيها المصاحف والكتب التى تهدى للحرم استنادا لهذه الدلائل يمكن القول بأن نواة  مكتبة الحرم المكي الشريف وجدت في القرن الثاني الهجري أي في عام 160هـ تقريبا وتمثلت محتوياتها في بعض المصاحف وبعض الكتب المتعلقة بتفسير القران الكريم والتي كان الحجاج يجلبونها للحرم الشريف تقربا الى الله تعالى ...

وفي العهد السعودي الزاهر اهتم جلالة الملك عبدالعزيز رحمه الله بهذه المكتبة وكون لجنة من العلماء لدراسة أحوالها وأطلق عليها عام 1357هـ مكتبة الحرم المكي الشريف وقد أهدى إليها جلالته رحمه الله مجموعة من الكتب وأصبحت منذ ذلك الوقت محل عناية ورعاية الدولة .

كانت نواة المكتبة داخل المسجد الحرام وعند الشروع في التوسعة السعودية الأولى للحرم المكي تم نقل المكتبة الى خارج الحرم في مكان خاص بها يقع جهة باب السلام ويعتبر أول نقل للمكتبة من داخل الحرم عام 1375هـ

وفي عام 1382هـ نقلت المكتبة الى عمائر الأشراف القديمة في المبنى المقابل لمستشفى أجياد العام ..

وفي عام 1383هـ نقلت الى عمائر مستودع الحرم المطل على الحرم من جهة المسعى جوار دار الأرقم بن الأرقم ...

وفي عام 1390هـ  نقلت الى التيسير في مبنى مستأجر ( عمائر بن سليمان )

وفي عام 1406هـ نقلت المكتبة الى مبناها المجاور للحرم المكي الشريف أمام باب الملك عبدالعزيز الذي تم بناؤه  لها وافتتحه صاحب السمو الملكي الأمير سعود بن عبدالمحسن بن عبدالعزيز نيابة عن خادم الحرمين الشريفين ....

وفي عام 1411هـ أزيل هذا المبنى لصالح توسعة خادم الحرمين الشريفين للمسجد الحرام وانتقلت المكتبة الى مبنى مستأجر بشارع منصور 

والمكتبة الان موجوده  بمبنى خاص بها بالعزيزية بجوار مستشفى علوى تونسي .. 

المرجع : الحرمان الشريفان التوسعة والخدمات من إصدار الرئاسة العامة لشئون المسجد الحرام والمسجد النبوي – الطبعة الأولى 1419هـ