春秋末期为鲁国地。战国后期归楚国。秦为启阳县,属郯郡。
西汉时,为避景帝刘启讳,启阳易名为开阳。元封五年(前106年),在今城北白沙埠镇境内的诸葛城置临沂县,与开阳县均属徐州东海郡。
东汉建初五年(公元80年),置琅琊国于开阳。
北魏中期,琅琊国改作琅琊郡。永安二年(529年),为北徐州治所。北周宣政元年(578年),改北徐州为沂州,“以州城东临沂水(河)以名之”。
隋大业初年(605年),将开阳、临沂、即邱3个县合并为临沂县,治所设于今临沂城。
唐武德四年(621年),在今郯城县褚墩镇西南部之兰山脚下置兰山县,武德六年兰山县撤销,辖境并入临沂县版图(据《方舆纪要》)。
北宋时,属沂州琅琊郡。
金、元、明、清几朝,皆沿用沂州之称。明初,临沂县撤销入沂州(即以州代县)。
清雍正十二年(1734年),沂州改称府,府治周围地区设县,名为兰山县。
民国二年(1913年)沂州府撤销,兰山县恢复临沂县之称。
新中国成立后,临沂县于1958年12月至1963年3月期间改称临沂市,后又称为县。
1983年9月,国务院批准恢复临沂市,为山东省辖县级市。
1994年12月,县级临沂市撤销,其原辖区域内设置了兰山、罗庄、河东区3个县级行政区。