西汉高祖六年（前201），析巴、蜀郡，置广汉郡。郡治初设广汉县，后移梓潼县、雒县（今广汉市）。东汉分广汉县南设德阳县于今龙凤镇。
蜀汉设东广汉郡于广汉县，西晋复名广汉郡。广汉县在今遂宁城东北。因李特攻广汉城，西晋广汉郡守移治德阳城。李特攻下德阳后即改设德阳郡，复改设广汉郡于雒县。东晋改德阳郡为遂宁郡。
南北朝刘宋改为东遂宁郡，移治巴兴县（今回马镇），另侨置西遂宁郡于雒县。梁朝移东遂宁郡治于广汉县（或称小汉县）。西魏改广汉县为方义县。北周废德阳县。北周于方义县设遂州。
隋朝设遂州总管府，管遂、梓、资、普四州。唐贞观间改都督府，都遂、合、普、果四州。唐大历间设东川观察使，辖东川。唐末五代设武信军节度使，节遂、昌、合、渝、泸五州。
宋代改方义县为小溪县。遂州为梓州路转运司（省政府），梓夔两路钤辖司（军区）驻地
，又因徽宗潜邸升遂宁都督府。北宋靖康元年（1126），遂宁府疏浚护城河时曾出土广汉侯印。
蒙古攻灭遂宁城后，降府为州。
明玉珍省小溪县入遂宁州，明初降州为县。
民国元年（1912），袁世凯统治时，全国废“道”制，由省直辖府、州、厅。
民国2年（1913）又废府、州、厅，恢复“道”制，以道统县。
民国七年（1918），四川全省划分为11个卫戍区域，遂宁列为第五区，割据18县。翌年改称“驻防区域”。自1925年，李家钰始驻遂宁。
民国二十四年（1935）3月，四川省第十二行政督察区专员公署驻遂宁县（城区镇）。
中华人民共和国成立后，1949年12月8日，中国人民解放军第二野战军三十三师解放遂宁县城。
1950年1月12日，遂宁军事管制委员会发布命令，以遂宁县城（城区镇）为专员公署驻地成立遂宁分区，隶属川北区行署（公署驻今南充市），下辖九县：遂宁、潼南、乐至、三台、盐亭、蓬溪、安岳、中江、射洪9县。
1952年9月1日，川西、川北、川南、川东四区行署撤销，恢复四川省建置。改分区为专区，遂宁专区隶属四川省，仍辖遂宁、潼南、乐至、三台、盐亭、蓬溪、安岳、中江、射洪九县。
1958年10月18日，撤销遂宁专区，所辖遂宁、蓬溪、中江、三台、射洪、盐亭、潼南7县划归绵阳专区。安岳、乐至2县划归内江专区。
1985年2月8日，撤销绵阳地区，分置遂宁、绵阳、广元三个省辖地级市。遂宁市行政区建立。原隶属绵阳地区的遂宁、射洪、蓬溪三县划为遂宁市辖县。撤遂宁县置遂宁市市中区。市府驻遂宁市市中区。
1997年12月28日，析原蓬溪县西部地区置大英县。2003年12月18日撤销遂宁市市中区，分置遂宁市船山、安居两区。
2004年12月末，遂宁市行政区辖两区三县。市府驻遂宁市船山区。
