六朝时期，白石山为战略要地。据《禹贡》、《尔雅》记载：唐、虞、夏、商属古扬州。据《史记?吴太伯世家》：周朝至春秋时属吴国。战国时期，先属越国，后属楚国金陵邑。
秦汉时期，属会稽郡、鄣郡、丹杨郡。汉末，孙权割据江东，于吴黄龙元年（229）称帝，以南京为都，称建业，属丹杨郡，白下区隶属建业县。
唐高祖武德元年（618）置金陵县，筑城于白石山下的白下村（在今南京金川门外）。武德九年（626），更金陵县为白下县。唐代，州县名称变化频繁。白下区，先后隶属归化、金陵、安业、白下、江宁、上元各县。五代十国时期，吴王杨隆演天佑十四年（917）分上元另置江宁县。
明代，南京地区称应天府，白下区仍属上元县管辖。清代，南京地区复称江宁府，白下区仍属上元县。
民国元年（1912）1月1日，中华民国以南京为首都，先名南京府，废上元、江宁县。
民国2年又废南京府，南京地区称江宁县，白下区属江宁县管辖。
民国16年设南京特别市，后又改称南京市。
民国时期经过几次调整，至1927年，南京实行区划，区境在二区、三区、四区范围内。
民国20年（1931年）3月，南京市政府划全市为21个区。
1933年，南京市政府划全市21个区合并为八个区，白下区为第二区。第二区范围东至逸仙桥、复成桥、大中桥一线，以青溪故道和第一区交界；南至大中桥、淮清桥、四象桥、内桥一线，以内秦淮河和第三区交界；西至中山南路与第四区相接；北至中山东路与第一区毗邻。
抗日战争时期，1938年汪伪政权将南京划分四个区，白下区地域属第一区。
抗战胜利后，1945年国民政府还都南京，白下区地域恢复为第二区。中华人民共和国成立后，白下区仍为第二区。
1950年6月，市人民政府重新划区，秦淮区称第三区，区域以旧四区为基础，增加旧三区之大部分及十一区一部分。白下区称第二区，原一区的大光路、光华门、御道街地区和原三区的砂珠巷、承恩里、慧园街地区划归二区，第二区面积为8.28平方公里。当时第二区东至中山门古城墙，同今栖霞区接壤；南至建康路、通济门一线，隔秦淮河与今秦淮区、雨花台区相邻；西至中山南路、马巷一线，与今建邺区相望；北至中山东路与今玄武区接界。
1955年8月，第二区定名为白下区，第三区定名为秦淮区。
中华人民共和国成立后，1955年南京市第二区第一届人民代表大会通过，将第二区人民政府改名为南京市白下区人民委员会。自此，原第二区定名为白下区。
1960年8月，雨花台区的板桥公社划归白下区管辖。
1962年8月，板桥公社复归雨花台区。
1966年8月，秦淮区改称遵义区，1973年12月恢复秦淮区原名。
1979年至1982年初，原雨花台区所属的象房新村、友谊村、通济门大街划归白下区，南部地域延伸至中和桥，白下区面积扩大到8.732平方公里。
1995年，将雨花台区红花镇和大校场机场用地范围，划归秦淮区管辖。
2002年底，秦淮区辖7个街道：夫子庙街道、饮虹园街道、双塘街道、钓鱼台街道、中华门街道、秦虹街道、红花街道。至2003年，白下区面积为30平方公里。
2013年2月，原秦淮区、白下区合并，成立新的秦淮区，新秦淮区政府驻南京市太平南路69号。
