绥化原名北团林子，清光绪十一年十月十四日（1885年11月20日）设理事通判厅即绥化直隶厅，厅治在北团林子，是绥化建置开始。当时，北团林子南北一带有3个圆形林子，以泥河为界，位于泥河南岸的称南团林子，北岸的称腰团林子，最北的称北团林子，绥化建置时将北团林子改名为绥化。绥化书语史载，“绥”为安好、安抚之意，《诗·小雅·鸳鸯》：“福禄绥之。”《周颂.桓》有“绥万邦”记载。多为祝颂安好用语。“化”则“变也”，造化、教化之意。绥化有安抚教化、造化发展、吉祥安顺的意思，可谓寓意之深。
绥化市历史悠久。大约在一万年前的旧石器时代，绥化市境内就有古人类繁衍、生息。
绥化市夏商时期为肃慎地。“肃慎者，虞夏以来东方大国也”。自虞舜至夏、商、周时，肃慎与中原华夏各族关系一直很密切。
西周至西汉时期，绥化市的庆安、绥棱、海伦、望奎、兰西等市县仍为肃慎地；西部的明水、青冈、安达，西南部的肇东等市县为岁貊地。
伪满时期，绥化市划归当时的滨江省管辖。后有几次变动，但全市绝大部分市县仍归滨江省管辖。
解放战争时期，庆城（庆安）、绥棱、海伦、望奎、绥化、明水和青冈、兰西、安达、肇东等县分属当时的黑龙江省和嫩江省管辖。1949年建国前夕，全市10个市县均划归黑龙江省管辖。
建国后，绥化市分属黑龙江省和松江省。1954年后属两省合并后的黑龙江省。1956年3月5日，经国务院批准，设绥化地区专员公署，辖绥化、北安、海伦、德都、铁力、绥棱、庆安、呼兰、巴彦、兰西、望奎、通河、木兰13县，专员公署驻绥化县。青冈、安达、明水归嫩江专员公署管辖，肇东归省直辖。1958年8月，国务院决定撤销绥化专员公署，成立松花江专员公署，专员公署驻哈尔滨市，辖1市13县，即：伊春市、绥化、巴彦、双城、五常、肇州、肇源、木兰、通河、望奎、兰西、绥棱、海伦、庆安县。1963年12月，伊春市从松花江专员公署划出。1965年6月，国务院决定重新成立松花江专员公署，原松花江公署改为绥化专员公署，绥化专员公署驻绥化县，辖肇东、肇州、肇源、安达、绥化、海伦、望奎、兰西、明水、青冈、庆安、绥棱、铁力13县。1967年3月成立绥化地区革命委员会，1979年2月撤销，设置绥化地区行政公署，辖绥化、肇东、安达、海伦、肇州、明水、望奎、庆安、绥棱、兰西、肇源、青冈12县。经国务院批准，1982年12月，绥化县撤县设县级绥化市；1984年11月，安达县撤县设县级安达市；1986年9月，肇东县撤县设县级肇东市；1989年12月，海伦县撤县设县级海伦市。1992年12月，肇州、肇源两县划归大庆市。1999年12月，经国务院批准，撤绥化地区，设地级绥化市，撤县级绥化市，设县级北林区。2000年6月14日，绥化市委、市人大、市政府、市政协、市纪检委举行了撤地设市揭牌仪式。全市现辖1区、3市、6县，70个镇、90个乡、6个街道办事处。
