战国初期，周贞定王二十二年（公元前447年），楚惠王灭蔡，市境属楚。战国末期，楚考烈王二十二年（公元前241年）迁都于寿 春，改寿春为郢，市境成为楚国的京畿之地。楚王负刍五年（公元前223年），秦灭楚。秦始皇帝二十六年（公元前221年），秦统一六国，市境淮河以南属九江郡（郡治寿春），凤台县及淮河以北属泗水郡。
汉高祖四年（公元前203年），刘邦封英布为淮南王，首置淮南国，都六（今六安），辖九江、庐江、衡山、豫章4郡。高祖十一年（公元前196年），英布获罪伏诛，改封刘长为淮南王，都寿春（今寿县）。
孝文六年（公元前174年），刘长获罪流放，死于途中。文帝改封城阳王刘喜为淮南王。孝文十六年（公元前164年），淮南国一分为三：淮南、衡山、庐江，分别封给刘长的3个儿子，长子刘安继任淮南王，都寿春。汉武帝元狩元年（公元前122年），刘安获罪自尽，废淮 南国，复为九江郡，治寿春。西汉时期，市境先后属淮南国、九江郡所辖，凤台县属沛郡下蔡县。
东汉时期，市境及凤台县均属九江郡所辖，分属寿春县、下蔡县。汉末，袁术据寿春改设淮南郡。入魏仍称淮南郡，治寿春。其后，魏文帝先后封其子曹邕及其弟曹彪为淮南王，明帝青龙元年（233年）移治合肥新城。其间，市境及凤台县均为淮南郡所辖。西晋初年，淮南郡迁治于寿春，市境为其所辖。永嘉乱起，淮河流域沦为战乱区，江淮郡县大批废弛，北人南迁。东晋咸和初年侨置淮南郡于丹阳郡于湖，市辖境则为侨置的南梁郡。
南北朝期间刘宋、萧齐、萧梁沿习东晋侨置淮南郡于江南，市境先后有豫州、梁郡等侨置郡县。北魏、北齐、北周、隋时，市境复为淮南郡所辖，凤台县属汝阴郡下蔡县。
唐置淮南道，市境属淮南道寿州所辖，凤台县属河南道颍州下蔡县。五代十国时期淮南道称谓不变，寿州、下蔡先后为吴、南唐所有。
北宋置淮南路，市境属淮南路寿州所辖。熙宁五年（1071年）分淮南路为东西两路，市境属淮南西路寿州所辖，淮河以南属寿春县，淮河以北属下蔡县。后宋金和议达成，以淮河、大散关为界，市境淮河以北属金国，淮河以南为宋地。
元代，市境属河南江北行中书省安丰路，分属寿春、下蔡两县所辖。至元二十八年（1291年）建怀远县，今市区东部属怀远县所辖。
明代，全境属南直隶凤阳府辖地，分属寿州（包括今凤台县）、怀远县、凤阳。
清代，市全境属江南省凤阳府，安徽省凤阳府。分属寿州、怀远、
凤阳所辖。雍正十一年（1733年）从寿州分置出凤台县，辖故下蔡县地，同城分治。同治三年（1864年）凤台县迁治于下蔡县故地（今城关）。
1949年1月18日淮南解放。3月，中共中央华东局决定在淮南三镇的基础上设立淮南煤矿特别行政区；4月，淮南煤矿特别行政区改设为淮南矿区。
1950年9月，建县级淮南市。
1952年6月，建立省辖淮南市。
1977年1月，凤台县由阜阳专区划入；1999年11月，毛集社会发展综合实验区批准成立。2004年7月，孔店乡、三和乡、曹庵镇、史院乡、孤堆乡、杨公镇、孙庙乡由长丰县分别划入淮南市大通区、田家庵区、谢家集区。
淮南城市是在70年代中期随着煤炭大批开采而壮大起来的，70年代后期淮南城市人口就达到40－－50多万人，至80年代城市人口就达到60－－70多万人。
现淮南市下辖5区2县，是安徽省辖区最多的城市。拥有地方立法权。
