秦二世胡亥元年（前209年），匈奴冒顿单于杀父自立，继而向东胡族发动袭击，一举大破东胡，建立了中国历史上第一个游牧民族政权-——匈奴，海拉尔为左贤王庭辖地。
汉朝时匈奴扰边，汉武帝遣卫青出塞北征匈奴，至胪朐河（今克鲁伦河），为中国兵力至呼伦贝尔之始。匈奴即灭，鲜卑人尽据匈奴故地。公元1世纪，东胡族的后裔鲜卑拓跋部逐渐强盛，经海拉尔河“南迁大泽”，海拉尔为鲜卑部落联盟东部辖地
隋时突厥强盛，为其属地。
唐灭突厥，海拉尔地区归室韦都督府辖。突厥的灭亡，使室韦——鞑靼人得以向西逐步推进，呼伦贝尔全境为室韦——鞑靼之地。
宋朝，契丹族复强建辽国，室韦之地尽属，海拉尔地区归属乌古敌烈统军司辖。
元朝建立后，海拉尔地区归属岭北行省和林路辖，并把呼伦贝尔一带封给成吉思汗的弟弟合撒儿。
明朝永乐三年（1405年），在海拉尔河流域设置了海刺儿千户所，归属奴儿干都司斡难河卫。以恺腊儿鞋袒把秃为海喇儿千户，仍为蒙古游牧之地。
清初，游牧于呼伦贝尔诸部于天聪至崇德年间先后归清，清朝即抚有呼伦贝尔全境，直属清理藩院。清康熙二十二年（1683年），归黑龙江将军辖此地。
，民间以呼伦贝尔城在海拉尔河附近，故亦称之为海拉尔城。原呼伦贝尔城被称为“城里”或“旧街”，隶属呼伦贝尔副都统辖。称铁路两侧至东西交界街逐渐形成的房屋市井为“海拉尔”，是东清铁路交涉分局辖地。光绪三十三年（1907年），海拉尔归属于黑龙江行省。
民国元年（1912年）初，海拉尔隶属呼伦贝尔地方自治政府，为府治所在地。
民国四年（1915年），呼伦贝尔为“特别区域”，直接归中华民国中央政府节制。
民国九年（1902年），海拉尔受辖于呼伦贝尔副都统衙门、呼伦县署、中东路海拉尔铁路交涉分局。
民国十六年（1927年）3月，海拉尔新街被认定为乡，市政分局改为东省特别区海拉尔乡政公所。
民国十八年（1929年）呼伦县公署改为呼伦县政府。同年11月苏军攻占海拉尔，成立“海拉尔苏维埃政府”，苏、蒙军撤出时自动取消。
民国二十年（1931年）“九一八”事变，日本帝国主义侵入东北。12月5日，海拉尔失陷。
民国二十一年（1932年）3月伪满洲国成立后，海拉尔归属于兴安北分省，并为省会驻地。
民国二十二年（1933年）建海拉尔办事处，行使铁路附属地外一切行政管辖权。
民国二十三年（1934年）10月兴安北分省改为兴安北省，海拉尔仍为省会驻地，隶属兴安北省。
民国二十四年（1935年）3月，海拉尔乡政公所辖新市街（原铁路附属地）和海拉尔办事处（原呼伦贝尔城）所辖一切权力合并，统一归海拉尔市政管理处辖。
民国二十九年（1940年）5月，定海拉尔为市，称海拉尔市。撤销海拉尔市政管理处，设市公署。
民国三十四年（1945年）10月，呼伦贝尔自治省政府在海拉尔成立，辖海拉尔市。将原“海拉尔市自治公署”改称“海拉尔市政府”。
民国三十七年（1948年）1月，呼伦贝尔地方自治政府改称呼伦贝尔盟政府，隶属内蒙古自治区。海拉尔市为属呼伦贝尔盟。
民国三十八年（1949年）4月11日，呼伦贝尔盟同纳文慕仁盟合并为“呼伦贝尔纳文慕仁盟”，辖海拉尔市。
1953年4月1日，成立内蒙古自治区东部行政公署，撤销呼纳盟建制。海拉尔市为内蒙古自治区的直辖市，其工作委托东部行署代管。
1954年4月30日，撤销东部区行政公署，成立呼伦贝尔盟人民政府，盟政府设在海拉尔市，下辖海拉尔市。
1969年8月，海拉尔市随呼伦贝尔盟划入黑龙江省。
1979年7月，由黑龙江省划回内蒙古自治区，仍隶属呼伦贝尔盟。
2001年10月，国务院批准呼伦贝尔盟撤盟设市，为呼伦贝尔市人民政府。
2002年2月，海拉尔撤市改区，为海拉尔区人民政府。
