西周时地属兖州。春秋战国时期,属郯国,归越地,旋为楚域。秦时是朐县的一部分,先后分属薛郡、郯郡。
汉代属东海郡。南北朝时,南朝宋武帝改朐县为朐山县。东魏孝静帝武定七年(549)首设海州于龙苴(今龙苴镇),统辖6郡19个县,灌云县境为东彭城、海西、东海3郡的领地。
北齐年间,海州首邑从龙苴迁至朐山,县境乃为海州辖地。至隋、唐、五代十国、宋、金仍为朐山县的一部分,隶属海州。元朝时属海宁州。明初改海宁州为海州,朐山县撤销,县境并入海州。
民国元年(1912)废州设县,析海州直隶州为东海、灌云二县,县治始设板浦。因南带灌河水,北枕云台山,取二地名首字为县名,与东海、沭阳、赣榆合称海属4县,属徐海道。
1933年3月,江苏省划13督察专员行政区,灌云属东海行政区辖地。
1939年日本侵略军占领灌云县境,成立日伪县政权。
解放战争时期,属苏、皖边区第六行政区,1940年8月共产党领导的抗日民主政权灌云县政府成立,隶属于苏皖区党委第二地委。
1941年曾一度改为东灌沭办事处,隶属于淮海专员公署。
1942年6月,恢复灌云县政府。根据当时斗争需要,成立灌东办事处。
1945年,裁撤灌东办事处。
1948年11月7日,灌云县解放。
1949年后属苏北人民行政公署,1953年属江苏省淮阴专署。
1983年实行市管县体制,灌云县划归连云港市管辖。
2005年,将灌云县宁海乡整建制划归新浦区管辖。2009年,调整后的板浦镇划归海州区管辖。行政区划调整后,灌云县行政区域面积1775.25平方千米。
2010年,灌云县管辖的江苏省东辛农场和划归连云港市连云区管辖。