“菏泽”原系天然古泽，为济水所汇，年久湮塞，遗址在菏泽市东南15公里处。以水名称县，始于1735年（清雍正十三年），曹州升州为府，设附郭县，赐名菏泽。1949年8月，平原省建立，划境内西北部为菏泽专区，治菏泽县。“菏泽”又成为专区或地区级地方名称。
菏泽文化源远流长，新石器时代龙山文化遗址，境内各县（区）或都有发现。古史中称誉的唐尧、虞舜、大禹在这里留下了较多的遗迹。历史上建置的演变，可远溯到公元前17世纪。 商代（约公元前16—前11世纪），境内曾置有三 国（今境中部）、莘国（今定陶与曹县之间）、顾国、黎国（今境鄄城与郓城之间）。
西周（约公元前11世纪—前771年），其境分属曹国（都定陶）、郜国、须句国、鲁国、卫国、宋国的辖地。
春秋后期，境域为宋、鲁、卫三国分割。
战国（公元前475—前221年），前期为齐、楚、魏所辖。至战国末期，为齐、魏两国分领。
秦（公元前221—公元24年），境内中部和北部属东郡（治濮阳），南部和北部属砀郡（治砀县）。
西汉至隋近600年间又数度变迁。
隋朝（581—618年），文帝即位后，废郡，以州直接辖县。境内中部属曹州（治济阴县），北部属濮州（治鄄城），东北部属郓州（治郓城），东南部属戴州（废永昌郡后置，仍治成武），以上4州治所皆在境内。南部属宋州。606年（隋大业二年），炀帝废州改郡。境内中部属济阴郡（治济阴县），东部属东平郡（治郓城）。
唐代（618—907年），境内属河南道，中部属曹州（治济阴县），东部属濮州（治鄄城），东北部属郓州，南部属宋州（治睢阳）。
元代（1271—1368年），属中书省。明（1368—1644年），境内大部属山东承宣布政司兖州府的曹州、济宁州和东平州，西部和北部各有一小部分属京师大名府的开州和山东承宣布政司东昌府的濮州。1368年（明洪武元年），因水患曹州徙治安陵镇（今菏泽市大黄集乡安陵集），次年再徙治盘石镇（今曹县城址）。1371年（明洪武四年），降曹州为曹县。1445年（明正统十年），复置曹州于古乘氏县址（今菏泽城）。这时的曹州虽领两县，但为府辖州。
清（1644—1911年），改布政使司为省，境内西部和东北部分属直隶省大名府和山东省兖州府外，均属山东省曹州府。1724年（清雍正二年），曹州升为直隶州，辖区较明代不变。1735年（清雍正十三年），升曹州为府，辖一州10县，附郭设县，赐名菏泽。此时辖区面积略大于今菏泽市。
中华民国（简称民国1912—1949），1912年，政区仍沿用清末省、府、县三级制，道为省的监察区。1913年1月8日，北洋政府颁发组织令，规定地方实行省、道、县三级制。今境除东明县属直隶大名道、鄄城县和梁山县（原为寿张县）属山东省济西道（后改为东临道，治聊城），其他县均属山东省岱南道（后改为济宁道，治济宁）。1925年10月22日，山东省将原四道增为11道制，于今菏泽市区置曹濮道（治菏泽）。1928年废道制，东明县直属河北省，其他县直属山东省。1932年南京政府规定省下设行政督察区，专员公署为省政府的派出机构。至1927年“七·七”事变前夕，山东省共有7个行政督察区（以下简称区）：第一区治济宁；第二区治菏泽，菏泽、定陶、曹县、城武、单县、巨野、郓城属之；第六区治聊城，濮县（1931年濮、鄄分治，1926年鄄城并入濮县）……属之。“七·七”事变后，日本侵略军侵入山东后，山东省政府撒离济南，在省内流亡，并于1938—1942年在全省先后设置了17个区。巨野、郓城、寿张、汶上属第二区，单县、成武、曹县属第十一区，菏泽、定陶、濮县属第十六区。日本投降后，国民党山东省政府虽然调整了行政区划，但境内各县的归属仍未变。1948年9 月全境解放。
在抗日战争中，由中国共产党领导的抗日政府相继产生，抗日根据地和游击区逐步发展成为各级政区。从1940年到抗战胜利，境域分属以下几个专区：
冀鲁豫第八专区。1940年4月初建立运西专区，是年11月改称鲁西二专区，属山东省鲁西行政区。1941年鲁西行政区并入冀鲁豫行政区，从此脱离山东省。
冀鲁豫第十一区。1940年7月建立湖西专区（因地处微山湖西），属山东省鲁西行政区，辖区位于今境南部，专署常活动于单县东南蔡溜、张寨一带。
冀鲁豫第十专区。1941年5月建立冀鲁豫三专区，7月改为冀鲁豫七专区，9月改称晋冀鲁豫二十二专区和冀鲁豫十专区。辖区位于境内中部和西南部，兼及河南省考城、民权等县部分区域。
解放战争时期，1946年2月，原冀鲁豫第八专区改为冀鲁豫二专区，专署曾移驻郓城潘渡和陈坡，原冀鲁豫十一专区改为三专区，十专区改为五专区。
1949年3 月，华北人民政府决定将冀鲁豫第二、三、五、七专区分别更名为临河、湖西、鲁西南、运西专区。是年8月，平原省建立，临河、鲁西南及运西的一部分合并为菏泽专区，与湖西专区同属平原省人民政府。
中华人民共和国（1949—），1952年11月，中央人民政府批准撤销平原省建制，菏泽、湖西两专区划归山东省。次年7月20日，中央人民政府批准山东省撤销湖西专区，其所辖县分别 归菏泽、济宁两专区。1958年11月12日，国务院批准撤销菏泽专区建制，所属各县划归济宁专区。次年6月，恢复菏泽专区，辖区如旧。1967年3月，改菏泽专区为菏泽地区。2000年12月，经国务院批准，撤销菏泽地区建制，改称菏泽市，原菏泽市（县级）改称牡丹区。菏泽市下辖郓城、巨野、单县、成武、定陶、曹县、东明、鄄城八县和牡丹区、开发区两个区，总面积为12228平方公里。