汉高祖六年（公元前201年）建置广汉郡。汉武帝元封五年（公元前106年），广汉郡由乘乡（今广汉市境内）迁到梓潼县,。汉安帝元初二年（公元115年）， 为镇压少数民族反抗，益州刺史部和广汉郡均迁至涪县，三年后州、郡皆迁出市境。东汉末年，刘备据蜀，于建安二十二年（217）分广汉郡北部地区设梓潼郡（治梓潼县），建兴三年（225）分广汉郡东部地区设东广汉郡（治雒县，今三台县境）。自此后，市境相沿各代均有州、郡、府等县以上政区建置。
两晋和南北朝三百余年间，战争频繁，政区建置变化较大。从隋代后，政区建置逐渐稳定。
民国24年（1935）川政统一，市境内只有今市区成为四川省第十三行政督察区治地，1948年领有绵阳、安县、绵竹、德阳、梓潼、罗江、广汉、什邡、金堂、彰明10县。
新中国成立后，1950年设绵阳专区，属川西行署区。
1952年绵阳专区属四川省领导。
1953年将广汉、金堂、什邡3县划归温江专区；原广元专区所属广元（驻嘉陵镇）、旺苍（驻冯家坝）、剑阁、江油、北川、平武、青川、昭化（驻宝轮镇）等8县划入绵阳专区。辖15县。
1958年原遂宁专区所属遂宁、三台、蓬溪、盐亭、潼南、射洪（驻太和镇）、中江等7县划入绵阳专区。撤销彰明、江油2县，合并设立江彰县（驻中坝）。绵阳专区辖21县。
1959年江彰县改名江油县。撤销昭化、罗江2县，将昭化县并入广元县；罗江县并入绵阳、德阳、安县3县。绵阳专区辖19县。
1970年绵阳专区改称绵阳地区，地区驻绵阳县。
1976年由绵阳县析置绵阳市，属绵阳地区领导。绵阳地区驻绵阳市。辖1市、19县。
1977年将潼南县划归江津地区。绵阳地区辖1市、18县。
1979年撤销绵阳县，并入县级绵阳市。绵阳地区辖1市、17县。
1985年，撤销绵阳地区，绵阳市升为地级市，设立市中区；将原绵阳地区的江油等7县划归绵阳市管辖。撤销广元县，设立地级广元市和市中区；将原绵阳地区的青川、旺苍2县划归广元市管辖。撤销遂宁县，设立地级遂宁市和市中区；将原绵阳地区的蓬溪、射洪2县划归遂宁市管辖。
1992年10月30日，民政部（民行批[1992]127号）批复同意撤销绵阳市市中区，设立涪城区、游仙区。
2002年，对安县的茶坪乡撤乡并更名建立千佛镇，江油市的九岭乡撤乡建立九岭镇，安县人民政府驻地由安昌镇迁址花荄镇，平武县响岩镇人民政府驻地由现集镇迁址至东南约2千米大松树。2003年7月6日，撤销北川县，设立北川羌族自治县。7月31日撤销北川县，设立北川羌族自治县。2005年4月4日，绵阳市人民政府机关办公驻地由涪城区临园路东段76号迁至高新区火炬大厦。
2012年将原绵阳市经开区和农科区整合为绵阳经济开发区。同年10月，国务院同意绵阳经开区升级为国家级经济技术开发区。
