秦、汉时，今区境南部属秣陵县，北部属江乘县，先后隶属会稽郡、鄣郡、丹阳郡。
东汉建安十七年（212年），孙权改秣陵为建业县，区境南部属之，同时废江乘县改设典农都尉（相当于县一级的民屯政区），区境北部属之，均隶属丹阳郡。
西晋太康元年（280年），复改建业为秣陵县。太康二年（281年）（一说为太康三年）分秣陵秦淮河以北置建业（次年又改称建邺）南为秣陵县（见《建康实录》、《晋书·地理志》）。建兴元年（313年），改建邺为建康，区境为建康和江乘辖地，直至陈朝末年。
隋朝统一南北后，将建康、秣陵、江乘等县及侨置郡县并为江宁一县。此时，区境属江宁县，隶属蒋州。
唐上元二年（761年），改江宁为上元县，至
区境均属上元县。
民国元年（1912年），临时政府废上元、江宁2县，置南京府，区境属南京府。
民国2年，撤南京府，以旧上元、江宁二县复置江宁县，区境属江宁县。
民国16年，改江宁县城区为南京市，区境属南京市。
民国20年（1931年）3月，实行京市自治，全市划分为21个自治区，分区筹办，但进展迟缓。
民国22年3月，重新划分为8个行政区时，今玄武区为第一区，设区公所。区界以中山路以东，中山门以西，九华山以南，中山东路以北为区域范围。面积8.85平方公里。
民国22年（1933）3月，南京城区区划格局基本奠定，划分为8个行政区划单位，为区级建置之始。当时，玄武区为第一区，区公所设廊背后4号。汪伪时期，玄武区分属第三区时，区公所设珠江路。分为12坊：丹凤坊、吉兆坊、碑亭坊、汇文坊、光华坊、大光坊、御史坊、复成坊、英威坊、太平坊、如意坊、珠江坊。坊以下设保甲，共125保，1386甲。
民国23年（1934年）9月，省市划界，南京市区域扩大，将原属江宁县辖地的孝陵卫地区划归南京市，建立孝陵区，为第十区（乡区），燕子矶区为第九区（乡区）。今区境内孝陵卫街道地区和玄武湖街道的仙鹤门行政村（仙鹤乡），属孝陵区。中山陵园区域属国民政府直接管辖。今锁金村街道、玄武湖街道（仙鹤门除外）和红山街道地区属燕子矶区。
民国27年（1938年）1月，伪南京市自治委员会以新街口为中心，城东南、西南、东北、西北4片，分别划为第一、二、三、四区。原一区分属第三区。区境以中山东路之北分界，西沿中山路、中山北路至挹江门止，北从挹江门沿城根经和平门、玄武门、太平门至中山门北侧。
民国28年1月，重新划分区界，将玄武湖全部划入第三区；孝陵区改称孝陵卫区。
民国31年4月，增设城区自治实验区，郊区以燕子矶为乡区自治实验区。今区境北极阁（北极坊）、玄武门（玄武坊）地区为城区自治实验区辖地；锁金村、玄武湖（仙鹤门除外）、今红山街道地区，为燕子矶乡区自治实验区辖地。
民国34年（1945年）9月，国民政府还都南京，恢复抗日战争前第一区建置，废除汪伪时所设坊一级区划，辖区则向中山东路以南、逸仙桥以东一带扩展，在区以下推行保甲制度，恢复原一区建置，区公所设于珠江路442号，下设36个保892个甲。同时，太平门至中央门城墙以外玄武湖地区划出，改属第六区。今区境的锁金村、红山、玄武湖街道和孝陵卫街道，仍分属燕子矶和孝陵卫区。
民国36年，第一区设35保，793甲。
民国38年3月，第一区区公所驻珠江路236号，下设36保，892甲。
1949年6月24日，南京市人民政府下令解散民国时期在区内建立的36保892甲组织，废除保甲制度，在未建立新的基层组织之前，由区人民政府与公安派出所直接在居民中开展工作。
解放初期，沿用第一区建置称第一区人民政府。
1950年6月，南京市人民政府决定重新划分城郊区。区境以旧一区为基础，划出中山东路以南，逸仙桥以东地区，增加原属旧六区的中央路以东、玄武门以南地带及玄武湖之全部，又增加原属旧十区的岗子村至太平门以西地带，建为新一区。原九区改为八区，今红山、锁金村街道地区和玄武湖街道部分地区改属新八区。原十区撤销，以原辖区内的中山陵园及周围地区新建中山陵园区，今孝陵卫街道地区和玄武湖街道部分地区，改属中山陵园区。
1951年5月，区内开始建立居民委员会，在区政府派驻各派出所的民政干部指导下，协助政府开展工作。
1955年6月，第一区人民政府改称第一区人民委员会。
1955年8月，第一区改称玄武区，第八区改称燕子矶区，中山陵园区名称不变。今区境分属玄武区、燕子矶区和中山陵园区管辖。
1955年9月，玄武区成立新街口、大行宫、香铺营、四牌楼、丹凤街、玄武门、太平门、太平桥8个街道办事处，作为区人民政府派出机构，办理区政府交办的事项，指导玄武区65个居民委员会的工作。
1957年10月，香铺营街道办事处撤销，所属居民委员会并入新街口、丹凤街、四牌楼3个街道办事处。
1958年11月，4个郊区建制撤销，合并为“大郊区”，今区境原属中山陵园区和燕子矶区的地区，划归郊区管辖。
1960年4月，街道办事处合并改建为新街口、丹凤街、梅园新村3个分社；5月在市级机关及周围单位单独成立北极阁分社。5月7日，成立玄武人民公社。公社和分社均实行政社合一。65个居民委员会合并为19个街道委员会。
1960年9月，撤销“大郊区”，原郊区的龙潭、十月、紫金山3个农村人民公社，划归玄武区管辖。
1961年，改新街口、丹凤街、梅园新村3个分社为3个街道办事处，19个街道委员会也调整为54个居委会，从此政社分开。
1961年6月，玄武区兼辖郊外栖霞镇（包括摄山）、孝陵卫镇和龙潭镇。
1962年8月，人民公社、分社撤销，恢复新街口、香铺营、梅园新村（原大行宫）、太平门、丹凤街、四牌楼、玄武门7个街道办事处。
1962年7月，市郊区办事处成立，原郊区3个人民公社及3个镇复划归市郊办。8月玄武人民公社消失，恢复玄武区人民委员会。
1963年4月，恢复设立燕子矶、栖霞、雨花、江东、陵园5个郊区建制。市郊农村人民公社复由各郊区管辖。7月，陵园区（辖紫金山人民公社和孝陵卫镇）改称中山陵园区。
1965年5月，5个郊区合并为雨花台和栖霞2个区，中山陵园区划归栖霞区管辖。
“文化大革命”开始后，1967年1月各街道相继被夺权致瘫痪，后由军代表实行军管。3月，玄武区改称要武区，实行军管，称南京市军事管制委员会要武区分会。
1968年3月，各街道成立革命委员会（简称革委会）。同年8月，将7个街道革命委员会合并为长江路、梅园新村、丹凤街、太平门、要武门5个街道革委会。
1968年3月，成立要武区革命委员会，1973年11月，改称玄武区革命委员会。
1970年1月，经江苏省革命委员会批准，南京市成立钟山区，将紫金山公社、马群公社、玄武湖公社、孝陵卫镇和陵园管理处划归钟山区管辖。
1975年4月，撤销钟山区，原辖地改归栖霞区管辖。
1978年9月至10月，撤销街道革委会，恢复原7个街道办事处。
1980年9月，玄武区革命委员会复称玄武区人民政府至今。
1980年12月，因后宰门住宅小区建成，入住人口增加，将原太平门街道办事处撤销，改为后宰门和兰园2个街道办事处。
1984年2月，小市镇的韶山路、玄武新村两个居委会和玄武湖大队、岗子村、新庄村等地段（包括南京林业大学、锁金村），从栖霞区划归玄武区，玄武区面积扩大到17.5平方公里，锁金村地区划归玄武区管辖后，又增设锁金村街道办事处，使玄武区街道办事处增加到9个。
1987年12月，新街口与香铺营街道办事处合并为新街口街道办事处，丹凤街与四牌楼街道办事处合并为丹凤街街道办事处。
1995年4月，全市区划调整，将原属鼓楼区的中央路东侧的廖家巷、大树根、后大树根、中央门4个居委会划入玄武区；将玄武湖镇、孝陵卫镇（苜蓿园、后庄村除外）以及小营、红山、藤子3个行政村和伊刘苗圃、中山陵园风景区，从栖霞区划归玄武区管辖。至此，玄武区面积达80.97平方公里，成为当时南京市面积最大的城区。
1996年3月，在3个行政村领辖范围设立红山街道办事处。同年12月，撤销孝陵卫、玄武湖镇建制，改设孝陵卫街道办事处和玄武湖街道办事处。
1999年，玄武区共10个街道办事处、128个居民委员会、23个家属委员会、12个村民委员会。
2012年，将梅园新村街道北京东路以北的公教一村社区和后宰门街道龙蟠路以北以西的辖区部分（太平花园小区）划归玄武门街道管辖，将调整后的梅园新村街道与后宰门街道合并设立新的梅园新村街道。调整后，玄武区辖7个街道：梅园新村街道、新街口街道、玄武门街道、锁金村街道、红山街道、孝陵卫街道、玄武湖街道。
