西周为曹国北境。秦属东郡。西汉为句阳（今菏泽市小留镇)）、葭密(今牡丹区葭密寨)、吕都等县地，均属济阴郡。
北魏太和十二年(488年)于今市区置乘氏县，属济阴郡。
北宋初属曹州，崇宁元年(1102年)曹州升为兴仁府，乘氏县属之。
金大定六年(1166年)废乘氏县入济阴县，八年(1168年)济阴县城为黄河水淹没，曹州与济阴县遂徙治
所于故乘氏县城（今菏泽市区）。
明洪武元年(1368年)省济阴县入曹州。二年徙曹州治所于今曹县城，四年降曹州为曹县。正统十一年(1446年)复于故乘氏县城置曹州。
清雍正二年(1724年)曹州升为直隶州，十三年(1735年)曹州直隶州又升为曹州府，以原州治所在地置菏泽县以为府治。
1913年菏泽县属岱南道(次年更名济宁道)。
1925年属曹濮道。
1928年废道，直隶于省。
1936年属国民党山东省第二行政督察区。
1941年2月抗日民主政权于巨野、菏泽毗连地区设巨菏县，属鲁西行政区第二专区。
1942年9月于县境西北部、东明东部设立南华县，属鲁西南专区。同年12月巨菏县与郓南县合并为郓鄄巨菏四县边区(县)，属晋冀鲁豫第十七（运西）专区；
1943年11月郓鄄巨菏四县边改建为临泽县，仍属晋冀鲁豫第十七专区(1944年8月改称冀鲁豫第八专区)；1944年12月又分为临泽、郓巨2县，此临泽县在今市境西北部，时临泽与南华2县均属冀鲁豫行政区第八(运西)专区第二办事处管辖。
1945年11月南华县复属鲁西南专区。
1949年8月南华、安陵县撤销，大部并入菏泽县，南华县之一小部并入东明县，菏泽县属新设的平原省菏泽专区。 同年3月原属菏泽县的菏泽城关区升为县级，直属于冀鲁豫行政区， 同年8月冀鲁豫行政区撤销，直属平原省菏泽专区，为专署驻地，
1953年8月改为菏泽城关镇，属菏泽县。
1952年11月菏泽县随菏泽专区划归山东省。
1958年12月菏泽专区撤销，改属济宁专区。
1959年7月复置菏泽专区(1967年改称菏泽地区)，菏泽县仍为专署驻地。
1960年1月撤销菏泽县，设立菏泽市。
1963年3月撤市复县。
1983年8月撤销菏泽县，设立菏泽市。
国务院2000年6月23日批准，撤销菏泽地区和县级菏泽市，设立地级菏泽市。菏泽市设立牡丹区，以原县级菏泽市的行政区域为牡丹区的行政区域。
