三国孙吴时南野县属庐陵郡,吴景帝永安六年(263年)分南北置始兴县,南雄地属之。吴末帝甘露元年(265年)分始兴置斜阶县,南雄地属之,隶于始兴郡。
晋废斜阶复南野,改属庐陵郡。南朝宋因之,齐复置令阶县,梁复置安远县,均辖南雄地。陈改安远县为安远郡,隶属东衡州,即韶州。
隋废诸郡,改安远为大庾县,隶于广州总管府。旋废大庾入始兴。
大业三年(607年)属南海郡,唐武德四年(621年)属番州,不久更名为东衡州。
贞观元年(627年)改为韶州。光宅元年(684年)划始兴县的化南、横山两乡置浈昌县,因境内浈、
昌二水而取名。县治设在今雄州。
南汉乾亨四年(920年)在浈昌县置雄州,辖浈昌、始兴两县。
宋开宝四年(971年)改雄州为南雄州,与河北雄州别,属广南东路。
天圣元年(1023年)因避仁宗赵祯讳,改浈昌为保昌。
宣和二年(1120年)赐保昌为郡。
元至元十五年(1278年)改南雄州为南雄路,领保昌、始兴两县。
明洪武元年(1368年)改路为府,辖保昌、始兴两县,属广东道。
洪武二年改行中书省,九年改行省为承宣布政使司,南雄府属相随。
清嘉庆十二年(1807年)改府为直隶南雄州,直隶广东布政使司,裁去保昌县,领始兴一县。嘉庆十六年复升为府,次年又降为直隶州,直至
。
民国开始,改南雄州为南雄县,隶属广东省。
中华人民共和国建立后,沿袭不变。
1958年12月,南雄县与始兴县合并称南雄县。
1960年10月复分为南雄县、始兴县,隶属广东省韶关专员公署。
1982年6月实行市管县体制后,隶属韶关市。
1996年6月17日,民政部批复(民行批[1996]46号)撤销南雄县,设立南雄市,由韶关市代管。