商朝，沂水地属人方。
西周，沂水地属鲁国。
春秋，沂水地为郓。莒鲁之争后入齐。
战国，沂水地为盖。
秦朝，沂水地属琅琊郡莒县。
西汉，沂水东境属徐州刺史部琅琊郡东莞县；西境为兖州刺史部泰山郡盖邑；南境为城阳国阳都、东安。
东汉，废城阳国，沂水地属徐州刺史部琅琊国。东汉末年，东莞、盖县升为郡。
三国，沂水地北境属魏国徐州刺史部东莞郡东莞、东安县；南境属琅琊国阳都。
晋朝前期，沿用魏国旧制。元康七年（297年）又分东莞置东安郡。自永嘉以后（东晋），十六国纷争割据，沂地归属多变。自咸和二年（327年）至义熙五年（409年），沂水地先后为北方少数民族的后赵、前燕、前秦、后燕、南燕等五国所属。南燕慕容德改东莞县为团城。
南北朝时，沂地南北互争，归属时南时北，先后隶属于东徐州、南青州、东安郡、莒州。
隋朝，开皇初，废东安郡，置东安县（治团城）。开皇十六年（596年）改名沂水县，别置东安县于古盖县。隋末，废东安县并于沂水县，县属琅琊郡。沂水县名沿用至今。
唐朝武德五年（622年），沂地属莒州，贞观八年（634年），废莒州，县属河南道沂州琅琊郡（今临沂）。五代十国时期，沂水地先后隶属后梁、后唐、后晋、后汉、后周，均属沂州。
北宋，沂水县属京东东路沂州琅琊郡。
金太宗天会四年（1126年）灭北宋。淮河以北被金占领，县属山东东路莒州。
元朝，1234年元灭金，此时归元。1279年灭南宋，统一全中国，沂水县属中书省山东东西道宣慰司益都路莒州。
明朝，明初因之。洪武九年（1376年），属山东承宣布政使司青州府。
清朝，清初因之。雍正八年（1730年）改属莒州，雍正十二年（1734年），改属沂州府。
民国二年（1913年），废府设道，沂水县属岱南道。四年（1915年），改属济宁道。十四年（1925年），改属琅琊道。
1928年裁道，直属山东。二十五年（1936年2月），设山东省第三区行政督察专员公署，沂水县属之。二十八年（1939年6月），日本占据沂水城，沂水沦陷。三十年（1941年2月），属山东省战时工作推行委员会鲁中区沂蒙专署。三十二年（1943年8月），沂中、沂东县属山东省行政委员会（省战工会改称）鲁中区行政联合办事处沂蒙专署。三十三年（1944年1月），沂北、莒沂边县属沂山专署。三十三年（1945年7月），沂中县属鲁中行政公署沂蒙专署；同年8月13日，属山东省政府（省行政委员会改称）鲁中行政公署第二专署。三十七年（1948年7月17日），属山东省政府鲁中南行政区公署第二专署。
1949年7月，属山东省人民政府鲁中南行政区沂蒙专区，8月恢复沂水县名称。同时，沂北与莒沂二县合并为莒沂县，属沂蒙专区。
中华人民共和国成立后，沂水、莒沂县仍属山东省人民政府鲁中南行政区沂蒙专区。
1950年5月11日，属山东省人民政府沂水专区。
1953年8月，沂水专区撤销， 并入临沂专区，莒沂县撤销，9个区归沂水县，沂水县属临沂专区。
1967年，县改属临沂地区革命委员会。
1978年，临沂地区革命委员会改为临沂地区。
1994年4月21日，临沂地区撤销，建立临沂市(地级)，县仍属之。
