根据伊斯兰传统，麦加的历史可追溯到易卜拉欣（亚伯拉罕）的时代，他和儿子易斯马仪（以实玛利）在大约西元2000年前一同建造克尔白。据说当地居民在亚玛力人的影响下偏离了一神信仰。
历史学者认为克尔白后来
被陈列了360个偶像和阿拉伯所有游牧部落的部落偶像。到了七世纪时，麦加最重要的神只是胡巴勒，古来氏族将其偶像放置其中。
麦加在托勒密的著作里以“马可拉巴”（Macoraba）之名著称。五世纪时古来氏族控制了麦加，成为杰出的商贾。六世纪时，他们也加入了利润甚丰的香料贸易，因为当时世界部分地区卷入了战争，使得贸易路线从危险的海域转移至相对安全的陆路。
拜占廷帝国本来控制着红海，但海盗却越来越猖獗。另外一条较旧的路线是从波斯湾经过底格里斯河和幼发拉底河，但途经的商人却遭萨珊王朝大加剥削，同时又被拉赫姆人和伽珊人阻断路线，并受罗马和萨珊两国交战的干扰。麦加显赫的商业地位使得它超越了佩特拉和巴尔米拉。
六世纪中期，北阿拉伯有三个主要的城邦，与濒临红海的西南海岸连成一气，是红海和东方大沙漠之间的可居地。这个区域就是有名的希贾兹地区，三个城邦都紧挨着绿洲，水源没有问题。希贾兹中部是雅斯里布（Yathrib），后来易名为麦地那。
雅什里布以南四百公里处是塔伊夫，是个山城。塔伊夫的西北边就是麦加。虽然麦加周边都是不毛之地，不过麦加仍然是三个城邦之中最富有且最重要的。伊斯兰历史上表明，麦加因渗渗泉而拥有丰富的水源。渗渗泉的位置就是阿拉伯最神圣的圣地克尔白，也是主要的骆驼商队的汇集路线。事实上，渗渗泉的水源对当地人来说已经很不足了，而克尔白只不过是半岛上众多的多神教神庙的其中一座而已。此外，对骆驼商队而言，若他们只从麦加到叙利亚而不往返，那么这样的单程路线使得麦加成为贸易的终点站。
阿拉伯半岛上的严酷环境经常导致部落间的冲突，但每年他们都会停战一段时间，并前往麦加朝觐。这趟旅程有其宗教理由，即向克尔白致敬，并饮用渗渗泉的泉水。然而，这时也是一年一度仲裁纷争的时刻，债务获得解决，人们于麦加市集进行贸易。各部落因这些一年一度的盛事而产生共同的信念，使麦加在半岛上的地位极其重要。
穆罕默德的曾祖父是首先替商队安装骆驼座骑的，而这已成为当地经济的一部分。各部落联盟与商贾们进行贸易，当地的游牧部落则带来皮革、牲畜与当地山区开采的金属。因此骆驼商队能够在麦加满载而归，并前往叙利亚和伊拉克的城市进行贸易。
伊斯兰传统宣称从各大洲来的货物也流通到麦加。北非和远东地区应该流通香料、皮革、药品、衣服和奴隶到叙利亚；麦加则大赚一笔，并买进武器、谷物和酒，并流通至阿拉伯各地。
麦加人同拜占庭人和贝都因人签订合约，协调出商队的安全路线。安全路线亦包含了水源和牧草的权利。这些额外的服务增强了麦加的政经势力，成为各贸易部落（包括班努·塔米姆部落）所组成的松散联盟的盟主。其他的势力诸如阿比西尼亚人、伽珊人和拉赫姆人等都已经式微，而麦加却是六世纪晚期阿拉伯地区首要的政经枢纽。
麦加穆罕默德时代
穆罕默德生于西元570年，伊斯兰教从此便不可避免地和麦加产生了关系。
穆罕默德出生于统治阶层古来氏部落的一个小分支，是为哈希姆家族。伊斯兰传统认为他于610年接受天启，开始宣扬一神信仰，和麦加的异教信仰格格不入。穆罕默德在忍受了13年的迫害（见希吉拉）之后于622年与追随者们一同迁移至麦地那。然而古来氏族与穆斯林的冲突仍然存在：两军爆发了白德尔战役，穆斯林于麦地那城外打败了古来氏族；但麦加的军队在武侯德战役打败了穆斯林。不过总的来说，麦加当局试图消灭伊斯兰的行动败阵下来，而在627年的壕沟战役里全阿拉伯的联军也打不赢穆罕默德。
628年，穆罕默德及其追随者和平地进入麦加，试图进行朝觐。然而，穆斯林与麦加当局却签订了胡代比亚条约，希望双方停止战斗，而穆斯林被允许于次年进入麦加。两年后古来氏族违反停战协定，但很快地他们就向穆罕默德投降。穆罕默德宣布特赦麦加人，并特别赠送礼物给统治阶层。麦加克尔白里的偶像和仪式壁画全部都被清除一空。穆罕默德宣布麦加是伊斯兰教最神圣的地方，让该地成为穆斯林朝觐的中心，这是伊斯兰教的五功之一。虽然他攻克了麦加，但他却选择返回麦地那，让阿塔布·本·乌赛德（Attab bin Usaid）统治该城。穆罕默德在阿拉伯地区的其他活动使他最终统一了整个半岛，终结了麦加长期以来的混乱。
穆罕默德逝世于632年，但他对阿拉伯人耳提面命的使得伊斯兰教快速扩张，其势力在几百年内抵达北非和亚洲。随着伊斯兰帝国的扩张，麦加不仅持续吸引了阿拉伯地区，更吸引了帝国境内的朝觐者。每年都有成千上万的穆斯林进行朝觐活动。
麦加也吸引了希望终年定居克尔白附近的学者和虔诚的穆斯林，当然也吸引了当地服务朝觐者的居民。由于到麦加朝觐有其困难之处且因花费考量，朝觐者多半选择乘船抵达吉达，然后再朝内陆前进，或者搭顺风车，跟着从叙利亚到伊拉克的骆驼商队。
麦加政治演变
麦加从未成为哈里发的首都，包括奥斯曼帝国。不过穆斯林统治者却大力维护着麦加。在欧麦尔和奥斯曼统治期间，由于洪水的顾虑而延揽基督徒工程师在麦加建造堤防。
在伊斯兰历史上，穆罕默德迁徙到麦地那，并使之成为伊斯兰政权
的第一个首都。倭马亚王朝当政之后将首都迁至大马士革，而阿拔斯王朝则迁至伊拉克的巴格达。伊斯兰帝国的权力中心在往后的近五百年间一直都在巴格达，巴格达也就成为学术研究与商业中心。到了十三世纪，蒙古人入侵巴格达并加以洗劫。这是伊斯兰历史上最令人不堪的往事。在巴格达战役之后，蒙古人接着就横扫西方世界并征服了叙利亚。下一个紧接着成为伊斯兰政权权力中心的城市是埃及的开罗。奥斯曼帝国崛起之后将首都迁往君士坦丁堡，虽然麦加仍然是蓬勃发展的贸易中心。当朝觐者抵达麦加之后，他们开始贩卖他们带来的各地货物，以筹措朝觐所需的资金。此外他们也在麦加买入当地货物，带回家乡转卖。
阿卜杜拉·伊本·祖拜尔掌控麦加之后，麦加暂时又登上伊斯兰的政治舞台。祖拜尔是早期反对倭马亚哈里发的穆斯林。叶齐德一世于683年围攻麦加。
后来麦加很少扮演政治角力的舞台，而是成为一座虔信与学术的城
市。数世纪以来麦加一直都由当地的哈希姆家族所统治。
930年麦加卡拉米塔教派攻击并洗劫麦加。此教派位于阿拉伯半岛东部，属于易斯马仪派并信仰千禧年主义，由贾纳比领导。1349年，黑死病袭击麦加。1517年，麦加谢里夫巴拉卡特·本·穆罕默德承认奥斯曼帝国哈里发的地位，但在麦加仍然拥有极大的自治权。麦加于1802年被第一沙特王国（瓦哈比教派）占领，并持续控制到1813年。这对奥斯曼帝国的威信来说是一个重大的打击。为了重返荣耀，位高权重的埃及总督穆罕默德·阿里奉命夺回麦加。他于1813年成功地克复麦加。1818年，瓦哈比派又被打败，但残余的沙特家族又建立了第二沙特王国，一直存续到1891年，即后来沙特阿拉伯的前身。
麦加沙特时期
1916年6月阿拉伯起义，麦加谢里夫侯赛因·本·阿里于麦加揭竿而起，反抗奥斯曼帝国。他的军队于麦加战役（1916）之后首度夺得麦加。胡笙于是宣布建立新国家－希贾兹王国－并以麦加为首都。在1924年的麦加战役中，麦加的谢里夫被沙特家族推翻，而麦加则并入沙特阿拉伯。
1910年的麦加1979年11月20日，沙特传道者欧泰比领导两百名武装的伊斯兰主义份子攻占麦加禁寺。他们宣称绍德家族已不再代表纯净的伊斯兰，禁寺和克尔白应当让有真实信仰的人管理。他们挟持数万名朝觐者并将自己关闭于寺内。此次事件持续两周，导致数百人死亡并严重毁损禁寺，尤其是萨法－玛尔瓦长廊。然而以不流血方式平息这次动乱的却是巴基斯坦的军队。法国国家宪兵特勤队突击队派遣一咨询小组，提供巴基斯坦军队武器与攻坚计划。
1987年7月31日，发生朝觐者的反美示威，沙特警方对手无寸铁的群众开枪，造成402人死亡（275名伊朗人、85名沙特人〔包括警察在内〕以及来自其他国家的45名朝觐者），649人受伤（303名伊朗人、145名沙特人〔包括警察在内〕以及201名来自其他国家的朝觐者）。
