绥化地区历史悠久。大约在一万年前的旧石器时代，绥化地区境内就有古人类繁衍、生息。绥化地区夏商时期为肃慎地。“肃慎者虞夏以来东北大国也”。自虞舜至夏（禹）、成（汤）、周（昌）时期，肃慎与中原华夏各族关系一直很密切.西周至西汉时期，绥化地区的东北部、东部的庆安、绥棱、海伦、望奎、兰西等市县仍为肃慎地；西部的明水、青冈、安达，西南部的肇东等市县为涉貊地；两地融合后称涉貊。
东汉至两晋属扶余地，扶余世居东北，是貊族的后裔。晋时全区大部分市县属扶余的寇汗卫，其农牧经济、文化和习俗都深受中原影响。这一时期，扶余地仍臣服于当时的中原王朝。
南北朝时期，绥化地区属勿吉地。勿吉先后与南朝、北魏王朝建立了臣属朝贡关系。
隋唐时期属轹羯地，社会发展处于由原始社会向奴隶制社会发展阶段。
唐代最终形成两大集团，分别归属于唐渤海都督府和黑水都督府。宋辽金时期，绥化地区先后归契丹族建立的辽、女真族建立的金管辖。
元朝时期，绥化地区归元朝的开元路管辖区，这一时期农业得到了较大的发展。
明朝时期为努儿干都指挥史司所辖，主要居住着女真族和汉族、蒙古族、朝鲜族和其它少数民族。
清朝时期归镇守黑龙江将军管辖。光绪三十三年，在东北设东：省总督，统辖奉天、吉林和黑龙江三省，绥化地区全境归黑龙江省管辖。
民国初期，东北三省实行省、道、县三级管理制，绥化地区大部分县属绥兰道。
民国十八年东北政务委员会成立，废道制，县归省直接管辖。海伦、绥化为一等县，肇东、兰西、青冈、安达、望奎为二等县，绥棱、明水为三等县。
伪满时期，绥化地区划归当时的滨江省管辖。后有几次变动，但全区绝大部分市县仍归滨江省管辖。
解放战争时期，庆城(庆安)、海伦、望奎、绥化、明水和青冈、兰西、安达、肇东等县分属当时的松江省和黑龙江省管辖。后有几次变动，但全区绝大部分市县仍归黑龙江省管辖。
1945年9月抗联干部陈雷受党的派遣从苏联回国和长春地下党员车承友一起进入绥化。11月建立了中共绥化地区工委和中共绥化县工委，车承友任中共绥化地区工委书记。陈雷任中共绥化县工委书记。
1949年建国前夕，全区10个市县均划归黑龙江省管辖。 建国后，绥化地区分属黑龙江省和松江省。
1954年后属两省合并后的黑龙江省。
1999年经国务院批准，成立地级绥化市，辖肇东、安达、海伦3市、望奎、兰西、明水、青冈、庆安、绥棱6县和北林区。
1956年3月6日，经国务院批准，设立绥化专区，将原由省直辖的绥化、海伦、望奎、北安、德都、绥棱、铁骊（后改为铁力）、庆安、呼兰、兰西、巴彦、木兰、通河13县划归绥化专区管辖，专员公署驻绥化县。
1958年撤销绥化专区，将绥化、望奎、绥棱、海伦、庆安、通河、木兰、兰西、巴彦等9县划归松花江专区；北安县划归嫩江专区；呼兰县划归哈尔滨市领导。撤销铁力县，并入庆安县；撤销德都县，并入北安县。
1965年松花江专署由哈尔滨市迁绥化县绥化镇，改名为绥化专署。恢复安达县。绥化专区辖绥化、绥棱、海伦、庆安、肇东、明水、兰西、望奎、肇源、肇州、青冈、铁力、安达等13县。
1967年5月，经黑龙江省革命委员会批准，成立绥化地区革命委员会，绥化专员公署正式撤销，绥化专区遂改为绥化地区，地区革委会驻绥化县，仍辖原绥化专区管辖的13县。1970 年4月，将铁力县划归伊春地区管辖。
1970年绥化专区改称绥化地区。将铁力县划归伊春地区。绥化地区辖12县。
1978年11月，根据新《宪法》的规定，将绥化地区革命委员会改为绥化地区行政公署， “由实变虚”，为省政府的派出机关。行政公署驻绥化县，管辖12县。（以上摘自《黑龙江省志·地名录》）
1982年12月至1990年 1月，绥化、安达、肇东、海伦4县先后撤县设市。
1982年12月18日，国务院批准撤销绥化县，设立县级绥化市。
1984年11月17日，国务院批准（国函[1984]159号）撤销安达县，设立安达市（县级），以原安达县的行政区域为安达市的行政区域。
1986年9月8日，国务院批准（国函[1996]111号）撤销肇东县，设立肇东市（县级），以原肇东县的行政区域为肇东市的行政区域。
1989年12月23日，国务院批准撤销海伦县，设立海伦市（县级）。
1992年8月21日，国务院批准将绥化地区的肇州县、肇源县划归大庆市。
1992年12月1日，将肇州、肇源2县划归大庆市领导。是时，绥化地区管辖绥化、安达、肇东、海伦4市和望奎、青冈、明水、兰西、绥棱、庆安6县。
1999年12月28日，国务院批准（国函[1999]154号）：（1）撤销绥化地区和县级绥化市，设立地级绥化市。市人民政府驻新设立的北林区。（2）绥化市设立北林区，以原县级绥化市的行政区域为北林区的行政区域。区人民政府驻北二西路。（3）绥化市辖原绥化地区的望奎县、庆安县、绥棱县、兰西县、青冈县、明水县和新设立的北林区。原绥化地区的县级安达市、肇东市和海伦市由黑龙江省直辖，绥化市代管。
2000年6月14日，绥化市委、市人大、市政府、市政协、市纪检委举行了撤地设市揭牌仪式。
据绥化政府介绍，截至2012年9月，全市辖1区、3市、6县，70个镇、90个乡、6个街道办事处。
