南口原指镇北1 公里处的南口村（即南口城），因位于关沟的南口，故全称为居庸关南口，简称南口。 因清朝末年京张铁路的南口火车站建在今址，商品交易中心遂由南口村逐渐转移至南口火车站附近，经过数 年的迅猛发展建设，城镇规模远远超过了南口村，所以，南口镇又称大南口，南口村则称为小南口。
兴建南口镇源于建造京张铁路。光绪二十九年（ 1903 年），商人李明和首先提议由商家出资建造、管 理京张铁路。清政府虽不赞成商办，却由此对这条铁路重要的战略地位引起了高度重视。直隶总督兼督办关 内外铁路大臣袁世凯在奏折中也认为：京张铁路为“南北互市通衢，每年运输货物如蒙古一代所产之皮毛、驼绒贩运出洋，与南省销蒙古多处之茶叶、纸张、糖饯、煤油等杂货均为大宗，计其价值颇称巨数。……议提关内铁路余利，拨修京张工程……作为中国筹款自造之路。”在此之前，由于清政府已将筑路权拱手让给了俄、英帝国主义，清政府决定建造京张铁路之后，俄国搬出《中俄密约》，借口“中国长城以北的铁路不能由第三国承建”，企图独占京张铁路的修筑权。英国则借口“京张路是关内外铁路的延长线，必须由英国工程师继续承办，否则不能拨款”，对清政府进行威胁。双方勾心斗角，争吵不休，清政府不敢得罪任何一方，为了缓和英俄之间的利害冲突，决定由中国人詹天佑担负起建路任务。
光绪三十一年九月初四（ 1905 年 10 月 2 日），京张铁路正式开工了。在规划设计南口火车站时，詹天佑考虑到南口村附近都是农民赖以生存的良田，而且两山之间的发展空间相对狭小，就将站址选定在南口村南 1 公里处的荒石河滩上。光绪三十三年（ 1907 年）四月，詹天佑升任总办兼总工程师后，为了随时了解工程进度，及时解决施工难题，他将总工程师办事处移至南口火车站，以便每天都能到工地上指挥施工。经过一万多名中国铁路工人将近四年的共同努力，京张铁路于宣统元年八月十二日（ 1909 年 9 月 25 日）建成通车，用银 693.5 万两，比原预算省银 28.8 万两，在中国和世界铁路史上留下了光辉的一页。早在京张铁路建造之初，詹天佑等人就商议在沿线建立一座集装修机车、客车、货车为一体的工厂，经过反复论证，认为机车在关沟段的崇山峻岭中运行容易发生事故，最后决定将工厂建在南口火车站附近，以便于抢修。
光绪三十二年（ 1906 年）七月，南口机车车辆机械工厂的前身—京张制造厂，在南口火车站北侧诞生。宣统二年（ 1910 年）二月，更名为南口机车厂；民国五年（ 1916 年） 11 月，改称南口机厂；这个名称一直沿用到 1949 年。从 1906 年起，以南口火车站和京张制造厂为中心，一个集交通枢纽、商品集散地及文化、居住中心为一体的现代化城镇迅速形成。为了保证南口镇的社会治安，从
起，在主要街道的出、入口及衔接处都设立了木栅栏，日夜有警务人员守卫，直至解放初才陆续拆除。
1948 年 12 月 12 日，昌平人民获得了新生，南口镇的地位日益显赫。 1949 年 4 月至 8 月，察哈尔省南口专员公署就设立在南口镇。
1958年建南口大公社，1979年改南口镇公社，1983年改南口乡，1987年改南口镇，1990年析建道南镇。
1961年建桃洼公社，1983年改桃洼乡。
1997年12月，撤销道南镇和桃洼乡，并入南口镇。
1999年，将原土楼乡的李庄村、响潭村和原南口农场划归南口镇；同年撤销南口镇，设立南口地区办事处。
