小榄古为珠江口古海湾的几个小岛屿，秦、汉间，大榄、小榄隶属南海郡，隋、唐时属南海县，宋代仍属南海县治，称永宁乡潮居里，为濒海要区，因小山丘形似橄榄而得名。
南宋绍兴二十二年（1152年），香山立县，由南海县划入的永宁乡潮居里改称宁安乡（含大榄、小榄）。宋末，香山寨从濠潭迁往县北大榄村侧后，中原人南迁，南宋咸淳年间，由南雄珠玑巷逃离南来者，骤然增多，人口繁衍，才编立图籍。
元代（1279-1368年）习宋制，地域名称不变。
大榄、小榄以一河相隔，明洪武年间香山司巡检陈忠，在任期间于河上建双美桥（俗称“拱桥”）相连。明洪武十四年，由乡改设坊都，宁安乡的大榄、小榄分立而统名大榄都。明洪武二十七年，大、小两榄有18卫所军队进驻屯田，垦荒种植，逐渐扩大耕地面积。随着沧桑易貌、人口繁衍，居民逐渐迁居小榄，形成圩市。
清康熙三至八年（1664-1669年）实行海禁迁界，大榄都于康熙三年农历十月十九日开始大迁徙，是有史以来一场大灾难。复界后仍称大榄都，人们迁回原地恢复生产和生活。清雍正三年（1725年），香山司辖大榄都、古镇（时属黄旗都）、海洲政务。清乾隆初年（1736年），古镇划入大榄都辖。清嘉庆七年（1802年），大榄都的大榄、小榄两村又称榄乡。清道光七年（1827年），古镇复属黄旗都；大榄都改名为榄都。清光绪元年（1875年），古镇、曹步两乡并入大榄都图。清光绪六年，改都为镇，榄都称为榄镇（小榄部分称榄乡）。榄乡山明水秀，景色别致，有“榄山”、“榄溪”雅号，又因小榄人爱菊，俗称“小柴桑”。
清宣统二年（1910年），榄镇改为香山县属第三区，全区分十三段，总面积259.08平方公里。
辛亥革命至中华民国初期（1912-1915年），“乡约”改称“公局”（又称公约），仍实行自治，大榄、小榄境内划为东、南、西、北、中五区，并统以西海十八沙、东南西北香灯沙及村心沙。
民国十二年（1923年），香山县三区的榄乡沿称小榄镇，为区辖下的乡镇，为建制镇之始，镇务工作由“公局”人员主理。
民国三十五年（1946年）9月，中山县政府先后撤销6个区建制，把全县缩编为67个乡镇。
民国三十六年（1947年）11月，撤销中山县第三区区署，由县派出指导员指导乡镇工作。
小榄镇建国之后
1949年11月，中山县人民政府设置区建制，仍称第三区，辖1镇13乡，并废保甲制，镇内称坊，区内称乡、材。
1950年6月，小榄镇成立临时政务委员会（9月称人民政务委员会）。
1951年6月，人民政务委员会结束，成立乡级小榄镇人民政府。
1952年7月，三区分为上下两区。上三区府驻古镇，政府在六坊苏家祠。下三区府驻小榄镇原中心国民学校（似稽、秀峰两间李氏祠堂）。8月，配合农村土地改革运动，成立中山县小榄镇城乡联络委员会。
1952年11月，小榄镇升格为区级镇，镇政府驻地在半农李公祠与和风书院（1956年改建为砖木结构两层楼房）。
1959-1960年，小榄镇范围辖至小榄公社东区钢铁营和北区乡沙口村。
1959年6月，小榄镇管理区（营）又改称镇人民公社社务委员会（又称管理委员会），撤销营、连、排、班军事化建制。
1960年2月1日，将镇郊生产大队和园林管理处合并，成立菊城农场。
1966年，改称红卫农场；1968年，重新复名菊城农场；1974年，易名小榄镇农场。
1966年6月，小榄人民公社和小榄镇人民公社，分别称生产临时委员会（生产临时领导小组）；1967年5月，又分别称“抓革命，促生产”委员会（简称“抓促”）；1968年2月，小榄公社、小榄镇公社分别成立革命委员会。
1973年7月，按县革委会文件精神，小榄各大队、城镇街道所改名称全面恢复原来名称。
1986年12月3日，广东省人民政府《关于中山市撤销区公所设置镇（街）建制的批复》保留小榄镇，将原小榄区析出高沙、裕民、同乐、兆隆、益隆、东升、新成、永胜等8个乡成立鸡笼镇（1987年3月改为东升镇）。余下的永宁、九洲基、东区、西区、北区、福兴、沙口、竹源、埒东、联东、宝丰、埒西一、埒西二、绩东一、绩东二、绩西等16个乡划归小榄镇管辖，成立新的小榄镇。
1987年1月1日合署办公。
