西汉初建县,因在蒙山之阴而得名,
隶属兖州泰山郡。王莽篡位后,曾改称蒙恩县。
东汉初,地属盖、牟二城。
三国魏复置蒙阴县,属徐州琅邪郡。
西晋末因战乱废。
南北朝时,北魏于蒙阴地置新泰县,属南青州东安郡。
东魏时,东安郡之新泰县改称蒙阴县,仍属东安郡。
北齐将蒙阴县并入东泰山郡之新泰县。
自此经隋、唐五代直至南宋景定三年,共712年,都属新泰县。
南宋景定三年(1262年),蒙阴地又由新泰县划入沂水县,称新泰镇(旧蒙阴县志叫新寨镇)。
元皇庆二年(1313年),重建蒙阴县,属益都路莒州。另据《重建蒙阴县碑》载,重建蒙阴县为元延佑二年。
明洪武二年(1369年),属青州府。
清雍正八年(1730年),改属莒州。
雍正十二年(1734年),属沂州府。
民国二年(1913年),废府设道,蒙阴县属济宁道。
民国十四年(1925年),
改属琅琊道。
民国十七年(1928年),废道,直属于省。
民国二十五年(1936年),属山东省第三区行政督察专员公署。
民国三十年(1941年)9月,将原蒙阴县的大部分地区划为新蒙县、泰宁县、博莱县。蒙阴县属鲁中区二专区。
民国三十二年(1943年)3月,蒙阴县撤销,同年9月恢复,仍属二专区。
1947年,蒙阴县更名为灵甫县。
1949年,恢复原名。
1949年7月,属沂蒙专区。
1950年6月,改属沂水专区。
1953年8月,属临沂地区。
1994年12月,临沂撤地设市,仍属临沂市,至今。