分天下为九州，淮北市境属徐州。公元前21世纪，助禹治水有功而成为商部落首领契的孙子，商汤十一世祖相土为进一步向东扩张，由商丘迁徙至此，作为别都，此后山即为相山、城即为相城。商汤伐桀，灭夏建商，商沿夏制，相城仍属徐州所辖。周武王伐纣更商分封诸侯，以纣王兄微子启代殷，立国号宋，相属宋。公元前588年至前576年期间，宋共公瑕为避水患，曾将国都由睢阳（今商丘）迁至相城。战国时期，齐、楚、魏灭宋，相归楚国。秦始皇二十二年（前225年）在相城和临涣镇分设相县、铚县，同属泗水郡，相城为郡治所在地。
汉高祖四年（前203年）改泗水郡为沛郡，郡治仍在相城。元狩六年（前117年），在今杜集区石台镇梧桐村闸闸河西设梧县，属沛郡。地节元年（前69年），梧县改属彭城郡，后改属楚国。王莽篡汉后，尽易天下郡县名，改相县为吾符亭，沛郡改为吾符郡，梧县为吾治。东汉建武二十年（44年）改沛郡为沛国，国都仍在相城。梧县先后改属楚国、彭城郡国。三国时，相城属魏，相县和铚县先后属汝阴郡，归豫州。梧县仍属彭城郡国。
西晋太康二年（281年），复置沛国，建都相县。东晋皇室南渡，相县先后归赵、前燕，归属屡有更易。梧县先后属后赵、前燕、前秦的彭城郡。太元八年（384年），梧县未再恢复。南北朝时，相县先后归属宋、北魏、北齐，属徐州沛郡。北齐天保七年（556年），废相县，为相城乡。
梁普通六年（525年）置临涣郡，治所在今临涣集。梁大通元年（527年）梁伐魏，攻克竹邑城。梁将陈庆元从铚县率兵数千人追击魏军至洛阳。北魏永安二年（529年）6月北魏军数千人夜袭临涣郡，城内梁军无备，死伤惨重，仓皇出逃。此地复为北魏所辖。东魏武定五年（547年）析临涣郡置白掸县、涣北县，治所分别在今魏集乡和宋庙乡境内。北齐天保元年（550年）废临涣郡，新置临涣县；废涣北县，复置竹邑县。
隋开皇三年（583年），竹邑县废，并入符离县。开皇九年（589年）符离县属彭城郡。大业元年（605年）春炀帝征发河南、淮北诸郡民夫百余万人，开掘通济渠。渠经今铁佛、百善、四铺3个区，过境长42.8公里，渠面宽40米，堤上广植柳树。是年废白掸县，并入临涣县。本地分属彭城郡萧县、符离县、蕲县和谯郡临涣县。
唐初，
本地分属徐州之萧县、符离县、蕲县和亳州之临涣县。武德四年（621年）析符离县置诸阳县。贞观元年（627年）废诸阳县复入符离县。元和四年（809年）以徐州之符离县、蕲县、泗州之虹县置宿州。元和九年（814年）析亳州之临涣县属宿州。本地分属徐州之萧县，宿州之符离县、临涣县、蕲县。相地渐趋衰落，成为边远闲塞之地相城孜。
唐咸通十年（869年）4月，庞勋率桂林戍卒起义军与唐军7万战于柳孜镇。义军败，转战临涣、亳州一带，庞勋战死。
五代时，隶属与唐代略同。
北宋建隆元年（960年），宿州升为防御。开宝元年（968年）为保静军节度，属淮南路。宋天圣十年（1032年）柳孜镇天王院修砖塔1座，高80尺，临涣县令、县尉、主簿，柳孜镇巡检、盐酒税等人主修。时柳孜镇有大小庙宇99座。熙宁五年（1072年），分属淮南东路。元丰五年（1082年）徐州分属京东西路。本地分属淮南东路宿州之符离县、临涣县、蕲县，京东西路徐州之萧县。南宋时，长江淮河以北沦为金地，本地分属南京路宿州防御之符离、临涣、蕲县，山东西路徐州武宁军之萧县。
宋绍兴十年（1140年）8月宋将杨存中引兵500骑夜袭柳孜镇，遭金兵伏击，大败，退至泗水一带。金人占据宿州。金天兴元年（1232年）元兵3000骑猛攻临涣城，县令张若愚率全城民众死守。后因城内粮尽和外无援兵城破，张若愚自杀。临涣城被元兵洗劫一空。
元初，本地分属河南行省归德府徐州之萧县，宿州之符离县、
临涣县、蕲县。至元二年（1265年）撤符离、临涣、蕲县，并入宿州，本地分属徐州之萧县和宿州领辖。
明洪武四年（1371年），本地分属中都临濠府宿州和徐州之萧县。洪武七年（1374年），中都临濠府改称凤阳府。洪武十四年（1381年）改徐州直隶京师。本地分属凤阳府之宿州和南京徐州之萧县。
清顺治二年（1645年），置江南省布政使司，本地分属江南省徐州之萧县和凤阳府之宿州。顺治十八年（1661年）江南省分设左右布政使司，本地分属左布政使司凤阳府之宿州和徐州之萧县。康熙六年（1667年）改设江苏省、安徽省。雍正十一年（1733年）升直隶徐州为徐州府，本地分属江苏省徐州府之萧县和安徽省凤阳府之宿州。
中华民国元年（1912年）废除府州建制，本地分属安徽省宿县和江苏省萧县。
民国3年(1914年)置道，本地分属安徽省淮泗道之宿县和江苏省徐海道之萧县。
民国16年废道，本地复归安徽省之宿县和江苏省之萧县。
民国24年（1935年），成立行政督察区，本地分属安徽省第六行政督察区（后改第四区）之宿县和江苏省铜山行政督察区之萧县。
1948年11月，市境解放。
1949年6月，市境分属华东局皖北行政公署宿县和萧县。
1953年2月，市境分属濉溪县和萧县。
1950年7月，置濉溪县，以濉溪而得名。属宿县地区。
1958年5月，淮北煤矿筹备处成立。
1960年4月6日，经国务院批准，以蚌埠专区的濉溪县和萧县部分地区组建濉溪市。
1971年3月30日，濉溪市正式改称为淮北市。
