Lembaga Pendidikan al-Azhar berawal dari sebuah masjid yang berada di kota Kairo, dibangun oleh Jauhar al-Siqiliy, seorang panglima perang pasukan Dinasti Fathimiyah. Setelah berhasil menguasai Mesir dari tangan Dinasti Ikhsyidiyah pada tahun 969 M (358 H), Jauhar al-Siqily membangun sebuah kota di sebelah utara kota Fusthat, Ibu kota Mesir saat itu. Kota itu kemudian diberi nama al-Qahirah (Kairo).
Satu tahun setelah itu, tepatnya pada tahun 970 M (359 H), dibangunlah sebuah masjid di tengah kota Kairo yang diberi nama Masjid al-Qahirah. Penamaan ini karena pembangunan masjid itu bersamaan dengan pembangunan kota Kairo. Masjid inilah yang di kemudian hari dikenal dengan nama masjid al-Azhar. Pembangunan masjid ini membutuhkan waktu dua tahun, dan kemudian dibuka untuk pertama kalinya pada bulan Ramadhan tahun 361 H (972 M) untuk pelaksanaan salat.
Saat itu terdapat dua buah masjid besar di Mesir, yang pertama adalah masjid Amru bin al-`Ash di kota Fusthat, dan yang ke dua adalah masjid Ibnu Thulun di kota al-Qathai`. Kemudian Jauhar al-Siqily membangun kota Kairo di sebelah utara dari kedua kota itu dan membangun Masjid al-Qahirah yang kelak dikenal dengan nama Masjid Jami` al-Azhar
Pemberian nama al-Azhar sendiri mengundang beberapa penafsiran di kalangan sejarawan. Dr. Ahmad Mahmud, Guru Besar Sejarah Islam di Universitas Kairo menjelaskan bahwa kata Azhar diambil dari kata al-Zahra, nama dari Sayyidah Fatimah al-Zahra binti Rasulullah Shallallahu `Alaihi wa Sallam. Istri dari Sayidina Ali bin Abi Thalib, ibu dari Sayidina Hasan dan Husain.
Dr. Mina Sya`ir, Guru Besar Sejarah Islam di Universitas al-Azhar menjelaskan bahwa kata al-Azhar juga konon diambil dari nama sebuah istana yang dibangun pada masa Khalifah al-`Aziz billah.
Setelah empat tahun berlalu sejak penaklukan dan pendirian kota Kairo, selama itu Jauhar al-Siqily mempersiapkan kota Kairo untuk menjadi pusat pemerintahan Dinasti Fathimiyah. Ia pun kemudian mengundang Khalifah al-Mu`iz li Dinillah ke kota Kairo untuk berpindah dan mejadikan Kairo sebagai pusat pemerintahan dinastinya.
Masjid al-Azhar tidak hanya dibangun untuk sebagai masjid tempat salat semata, namun juga sebagai tempat pusat penyebaran dan pelestarian ajaran mazhab Syiah yang menjadi mazhab resmi Dinasti Fathimiyah. Masjid al-Azhar menjadi masjid resmi miliki Negara, ia menjadi tempat para pemimpin Dinasti Fatimiyah berkhutbah, dan juga menjadi cerminan dari setiap kebijakan dan keputusan Negara.
Majlis yang pertama kali diadakan adalah sebuah majlis yang diisi oleh al-Qadhi Abu Hasan al-Nu`man pada bulan Safar 365 H (976 M), dan kitab yang dikaji saat itu adalah kitab al-Iqtishar, kitab fikih mazhab Syiah Ismailiyah. Dan mulai sejak itu hingga beberapa tahun kemudian, kegiatan akademis di masjid al-Azhar semakin berkembang.
Di dalamnya terdapat perpustakaan yang memuat buku-buku dari berbagai macam bidang keilmuan, para ilmuan dari berbagai penjuru negeri pun datang ke al-Azhar untuk belajar dan mengajarkan ilmunya, menghidupkan tradisi keilmuan Islam. Bahkan menurut Dr. Mahmud Isma`il, Guru Besar Sejarah Islam Universitas Kairo, terdapat sebuah kajian khusus tentang medis di masjid al-Azhar yang saat itu merupakan lembaga kajian medis satu-satunya di dunia.
Keadaan berubah ketika masa dinasti Ayyubiyah berkuasa di Mesir (1171-1250 M), setelah kedatangan Shalahuddin al-Ayubi ke Mesir pada tahun 567 H. Setelah berhasil menguasai Mesir, Shalahuddin al-Ayubi memberikan banyak perubahan kepada Mesir. Ia merubah mazhab akidah Negara dari Syiah Ismailiyah menjadi mazhab Islam Sunni Asy`ari, dan merubah mazhab fikih Negara menjadi mazhab Syafi`I.
Penghapusan mazhab Syi`ah pun berdampak pada lembaga al-Azhar saat itu. Shalahuddin mengambil fatwa untuk menjauhkan masyarakat Mesir saat itu dari masjid al-Azhar, demi mengikis pengaruh mazhab Syi`ah yang telah berkuasa di sana lebih dari dua ratus tahun lamanya. Ia juga meniadakan salat jum`at dan khutbah di masjid al-Azhar dan memindahkannya ke masjid al-Hakim bi Amrillah yang terletak di sebelah utara kota Kairo.
Sejak saat itu, masjid al-Azhar ditutup untuk semua kegiatan selama seratus tahun lamanya, sejak tahun 567 sampai 665 H tidak ada kegiatan apapun di masjid al-Azhar. Masjid itu pun mati suri selama seratus tahun. Dan untuk menghidupkan kembali mazhab sunni, Shalahuddin pun menghidupkan masjid-masjid besar lainnya dengan praktek ibadah dan pengajaran sesuai dengan mazhab Sunni.
Pada masa itu pun Dinasti Ayubiyah disibukkan dengan perang salib melawan pasukan salib dari Eropa. Dan selama itu juga Azhar tidak berfungsi sama sekali.
Kebuntuan ini berubah pada masa dinasti Mamalik (1250-1517 M). Adalah seorang Izzuddin Aidumur al-Hilli gubernur Kairo ketika itu yang bertempat tinggal di dekat masjid al-Azhar. Ia melihat bahwa masjid al-Azhar saat itu sama sekali tidak terawat, ia melihat masjid yang besar itu telah menjadi jalanan umum yang dilewati oleh manusia dan hewan. Ia pun kemudian memprakarsai renovasi masjid al-Azhar. Dinding-dindingnya diperbaiki, tiangnya diperkuat, atapnya diperbaiki, diberi hiasan di setiap dindingnya. Masjid pun direnovasi sedemikian rupa hingga memungkinkan agar kembali digunakan untuk keperluan ibadah dan pendidikan.
Mengembalikan praktek ibadah ke masjid al-Azhar ternyata tidaklah mudah, khususnya dalam hal salat Jum`at. Para hakim Dinasti Ayubi yang bermazhab Syafi`I memfatwakan sesuai dengan mazhab Syafi`I, yaitu tidak boleh ada dua salat Jum`at di satu kota, dan saat itu salat Jum`at telah dilaksanakan di masjid al-Hakim bi Amrillah yang jaraknya kurang dari dua tiga kilometer dari masjid al-Azhar. Izzuddin pun harus dihadapkan dengan fatwa ini untuk menghidupkan kembali salat Jum`at di al-Azhar.
Setelah berbagai perdebatan fikih yang panjang, akhirnya salat dan khutbah Jum`at pun kembali dilaksanakan di masjid al-Azrar di tangan penguasa saat itu, al-Zahir Baybars. Salat Jum`at pertama setelah penutupan itu terjadi pada tahun 665 H. Dan sejak saat itu dibuat semacam lembaga yang khusus untuk mengelola wakaf dan pendanaan untuk pembangunan dan perawatan masjid dan penghidupan kembali iklim akademis di masjid al-Azhar. Dan sejak itu juga, para penguasa pun menyediakan uang khusus untuk diwakafkan ke masjid demi berbagai macam keperluan masjid.
Dan di masa Dinasti Mamalik terjadi perluasan masjid hingga dua kali lebih luas dari pada saat dibangun oleh Dinasti Fatimiyah. Dan saat itu pun dibangun kamar-kamar untuk tempat tinggal para pelajar yang disebut dengan “Ruwaq”, dan saat itu pula dibangun beberapa menara.
Kehancuran kota Baghdad di tangan pasukan Hulagu Khan 1258 M. dan penyerahan kota Granada 1492 M. menjadikan kota Kairo sebagai salah satu pusat peradaban Muslim yang masih tersisa. Para ulama dan pelajar berpindah dari Baghdad, Andalus, dan berbagai negeri untuk mengenyam iklim ilmiah yang ada di sana.
Saat itu al-Azhar memasuki masa keemasannya. Al-Azhar memasuki masa pencerahan, pengembangan, dan perbaikan. Berbagai macam cabang ilmu dipelajari, dari ilmu-ilmu agama hingga sains dan teknologi. Saat itulah dikenal para ulama sekaliber Ibnu Khaldun dan Ibnu Hajar al-Asqalani.