甘霖古称两头门，宋时属桃源乡，清康熙时称两头门镇。嘉庆初年遇大旱，知县沈谦率众去南山天兴潭请龙求雨，返至两头门，天色骤变，乌云密布、雷电交加，大雨倾盆而至，为示纪念，遂改名甘霖。宣统三年（1911），甘霖与苍岩合称霖苍镇。
民国元年（1912），霖苍镇辖桃源、白鹤、方升、平义区。
民国21年6月，4区合并设置第2区，辖25个乡和甘霖、博济、苍岩镇。35年9月撤区并乡镇，设6个乡，甘霖镇归属桃源乡。
甘霖镇建制沿革
1949年5月建立甘霖区，辖桃源、普义、白鹤、范摩、中南、里南乡。
1950年1月，中南、里南乡划给新设立的南山区；9月，中南乡复划归，全区5个乡分为赵马、范村、马塘、普义、浦桥、白鹤
、陈家、桃源、雅秀、胜利、湖头、中南、长安、东陈乡。
1956年3月，撤销区的党政机构，范村乡与赵马乡分别并入崇仁区的富润乡和春联乡，浦桥乡划并入城区的西郊乡，全区11个乡合并为剡北、普义、白鹤、桃源、中南、毫石乡，原属长乐区的继锦乡和方口乡的罗村划并白鹤乡。同年11月，从桃源乡分设甘霖镇，12月，恢复区委。
1957年6月，新昌县的罗家山、金横村划入毫石乡。
1958年9月，甘霖镇仍并入桃源乡，全区成立甘霖人民公社，除桃源乡分出蛟镇乡外，均以乡为单位，下设7个管理区。
1961年7月，撤销甘霖人民公社，恢复区的设置，7个管理区均改称为公社。同年10月，毫石公社的东陈、西陈、西竹大队划给新昌县，1962年7月，中南公社的枣园、胡衣大队分别划给新昌县。
1965年2月，区的党政机构撤销。
1970年，蛟镇公社并入桃源公社，次年仍分设。
1973年7月恢复区委，1981年1月又设立区公所。同年3月，桃源公社改建制为甘霖镇。
1992年5月，剡北、普义、蛟镇乡并入甘霖镇；中南乡、毫石乡合并为苍岩镇。2001年12月，博济、苍岩与甘霖合并成甘霖镇。
