史前时期从三道岭，七角井发现大量的磨制石器可证明，距今7000年前的原始社会新石器时代，哈密人的祖先已在这里繁衍生息了。从公元前20世纪开始，先后有多种民族在这块绿洲上生活过。
两汉时期
两汉时期（前206—220年）西汉时哈密称伊吾卢，西汉神爵二年（前60年）西汉设西域都护府，伊吾卢和蒲类国归西域都护府管辖。东汉开始哈密称伊吾。东汉永平十六年（73年）在伊吾设置宜禾都尉，131年顺帝又设伊吾司马，驻伊吾主持军事和屯垦。
三国、两晋、南北朝时期
三国、魏晋时代，魏在哈密仍置宜禾都尉，东晋咸和二年（327），位于河西的前凉国张骏功取伊吾后，把伊吾划属敦煌郡治理，伊吾建置相当于县。张骏委派参军索孚为伊吾都尉被视为设置郡县之始。
南北朝时，西凉残部唐契、唐和兄弟二人和外甥李宝率余部，历尽艰辛从武威（凉州）逃来伊吾依附于柔然，有众2000余家。柔然命唐契为伊吾王。
北魏太安二年（456年），北魏敦煌镇将尉眷率兵曾一度功占伊吾。随着北魏势力的进一步扩大，柔然汗国的瓦解，北魏太和十二年（488年），柔然伊吾城主高羔子降附，北魏置伊吾郡。这是哈密最早的行政建置。
隋唐时期
隋初，文帝派元晖出伊吾，联络西突厥达头可汗。以后达头可汗的使者和达头可汗本人都先后经伊吾到隋朝觐，受到文帝的特殊礼遇。
隋大业四年（608年），炀帝派裴炬和将军薛世雄率军屯驻伊吾。隋军在伊吾城东另建一座新城，号新伊吾
（地当今日之哈密回城）。大业六年（610年），设立伊吾郡，并在伊吾城之东北设立柔远镇（地当今日之沁城）。隋末，伊吾属西突厥。
唐朝贞观四年（630年），伊吾城主以7城降附，太宗以其地置西伊州。两年后去西字称伊州。辖伊吾（今哈密）、柔远（今沁城）、纳职（今四堡）三县。
景龙四年（710年），设伊吾军，驻地在伊州西北之甘露川（今巴里坤大河）。
唐天宝元年（742年），伊州改称伊吾郡、属陇右道辖治。天宝三年（744），东部回鹘崛起，蒲类为其领土。乾元元年（758）伊吾郡又改称伊州。广德二年（764）后，伊吾被吐蕃人占领，一直沿继了90年左右。
五代、宋、元时期
北宋宣和六年（公元1124年），伊州、蒲类归属西辽。
13世纪初，蒙古人崛起于漠北。宋嘉定二年（1206年），孛儿只铁木真（成吉思汗）为蒙古大汗。3年以后西州回鹘“亦都护”巴而术阿而忒的斤臣属蒙古。哈密归附蒙古后，也没有并入高昌成为高昌畏兀儿的一部分，而是和高昌并存的一个地方政权。
南宋淳祜十一年（1251），蒙宪宗在西州回鹘建别失八里行省州改称哈密力。
至元十六年（1279年），忽必烈灭南宋，建都大都（今北京），任命察合台曾孙阿只吉镇守别失八里，兼辖天山南路畏吾儿哈喇火者（即高昌）及哈密力等处屯戍军事。
至元十八年（1281年），设甘肃行省，哈密隶甘肃行省管辖。
延佐六年（1319年），皇帝敕命哈密力人和畏吾儿人（即高昌人）自相讼，可以由自己的头目处理，如果和其他百姓争论，则由自己的头目和地方官吏共同审讯。元末，察合台后裔兀纳失里据哈密，为威武王。元覆亡后，兀纳失里割据自立，称哈密国。
明朝时期
1368年，朱元璋称帝于金陵（今南京），元亡，暂守哈密的威武王兀纳失里亦自立为哈密国王，洪武二十六
年1393年，兀纳失里病逝，其弟安克帖木儿继位。
永乐二年（1404年），诏封安克帖木儿为忠顺王。两年后设哈密卫，设指挥、千户、百户等官。
明成化三年（1467年），由于哈密忠顺王王位久虚，各族头目再次极力推荐，明廷方才提升把塔木儿（畏兀儿人）为右都督，代行国王事，5年后，把塔木儿卒，其子罕慎请嗣父职，朝议只准嗣都督位，但不准主国事。哈密仍无王统摄，政令无所出。
哈密地方王国从1380年受封，至1514年被吐鲁番汗并占，经11世，历135年。此后，吐鲁番汗亦势衰力竭，它的领地逐步为察合台后王所建立的喀什噶尔汗 （后首府迁至叶尔羌，史称叶尔羌汗国）所占有，哈密亦随之成为该汗的东部领土。
清朝时期
清康熙三十七年（1698年），清廷派员到哈密按蒙古王公例编制旗队，划为蒙古镶红回旗，委任官佐。
清康熙五十六年（1717年），修哈密回城，号镇远城。雍正五年（1727年）修哈密汉城（今老城）。雍正七年（1729年）至九年（1731年），修巴尔库尔汉城。乾隆三十七年（1772年），修巴尔库尔满城，号会宁城。同治八年（1869年），修哈密新城。
清雍正九年（1731年），清廷移安西州同知驻巴尔库尔，自此该地始有行政机关。安西同知隶属甘肃布政使。乾隆二十四年（1759年），建哈密厅，设理事通判，管理回王辖属以外民事，亦隶属甘肃。次年，在哈密设办事大臣，巴尔库尔设领队大臣。
清乾隆三十八年（1773年），设镇西府，又设巴尔库尔道，府下辖宜禾、奇台两县，府治在宜禾。镇西府亦隶属甘肃省。乾隆四十一年（1776年）巴尔库尔道移驻迪化，改称镇迪道。咸丰五年（1885年），镇西府改镇西直隶厅。宜禾县入厅治，奇台县划归迪化。光绪七年（1881年）八月十六日，哈密厅由安西道划归镇迪道。光绪十年（1884）11月17日，新疆设立行省，下分四道，镇迪道改由新疆省隶属。次年，哈密厅升格为哈密直隶厅。哈密直隶厅包括今哈密、伊吾两地。
中华民国时期
中华民国二年（1913），改哈密直隶厅为哈密县，改镇西直隶厅为镇西县。
回王领地建置自成体系，不属县衙管理。回王领地一直到民国十九年（1930年）废除哈密回王后，方始统一于政府建制。
民国二十三年（1934）5月，成立哈密行政区，辖哈密县、镇西县和七角井设治局，为新疆省第九行政区。行政
长公署设在哈密县，刘应麟为第一任行政长。
民国二十四年（1935）7月，省府决定划哈密县的吐葫芦、下马崖、盐池、前山、苇子峡、淖毛湖为伊吾设治局。哈密行政区至此辖二县二设治局。
民国三十二年（1943）1月，伊吾设治局升格为三等县。5月，改哈密行政长公署为行政督察专员公署。
中华人民共和国时期
中华人民共和国成立后，1950年，设哈密专区行政督察专员公署，驻哈密县，辖哈密、镇西、伊吾三县和七角井中心区。
1954年1月4日，镇西县改称巴里坤县。9月30日，巴里坤县实行民族区域自治，成立巴里坤哈萨克自治区。撤销七角井中心区，改设七角井镇（乡级镇），归哈密县领导。
1955年，巴里坤哈萨克自治区改称巴里坤哈萨克自治县。哈密专区辖2县1个自治县。
1961年，以哈密县城镇为基础，包括火车头、铁龙、钢铁、先行、红旗等5个城镇公社和火箭农场在内，成立哈密市，由哈密专署领导。
1962年，撤销哈密市，并入哈密县。
1970年12月19日，哈密专区改称哈密地区，地区行署驻哈密县，辖哈密、伊吾两县和巴里坤哈萨克自治县。
1971年1月24日，原由自治区直辖的鄯善县划入哈密地区，哈密地区辖3县1自治县。
1975年1月30日，鄯善县划归吐鲁番地区。
1977年1月6日，国务院决定成立哈密市（县级市）。哈密地区辖1市（哈密）、2县（哈密、伊吾）、1自治县（巴里坤）。
1969年3月～1979年6月，哈密地、县及公社成立革命委员会。
1979年7月1日，哈密地区革命委员会改为哈密地区行政公署。
1979年，哈密地区辖1市2县1自治县，共有2镇、3区、22个人民公社和17个国营农牧场、22个居民委员会。哈密行署还在三道岭矿区设派出机构——三道岭行政委员会（县级）。哈密地区行署驻县级哈密市。
1983年9月9日，哈密县并入哈密市。
1985年，哈密地区辖1市（哈密市）、1县（伊吾县）、1自治县（巴里坤哈萨克自治县）。
2016年2月18日，哈密正式设地设市，丝绸之路经济带沿线诞生最年轻的城市。这是继吐鲁番之后，新疆第二个撤销地区建制设立的地级市。
