东汉为匈奴、鲜卑游牧地。
三国魏、晋为鲜卑族。
北魏为柔玄镇(治兴和县西壕堑一带)地。
东魏、北齐为怀荒镇(张北县城)地。隋为雁门郡北境。
唐为突厥、库莫奚,契丹游牧地。
五代时为契丹地。辽属西京道奉圣州,金属西京路宣德州柔远县(张北县城)。
元为威宁县(南壕堑一带)。属中书省兴和路。
明属兴和守御千户所及鞑靼诸部落牧地。
清初沿旧制,雍正二年(公元1724年)属张家口理事同知及抚民府厅,乾隆至光绪年间垦殖日众,渐成村落。
民国二年(1913年)改属张北县,民国四年(1915年)北部划属商都垦务行局,民国七年(1918年)改属商都县第二行政区。
民国二十三年(1934年)把商都县二区及三、五区各一部(今大青沟、大营盘、大苏计、哈拉沟、后石庄井公社)划出,在大青沟建尚义设治局(尚义,寓提倡礼义廉耻),民国二十五年(1936年)被日伪侵占改设治局为尚义县,1909年9月伪蒙疆政府成立,尚义属察哈尔盟(1943年)张北县西区(今县境南部、中部十一个公社)划归尚义县,伪县公属由大青沟迁至南壕堑。
1945年第一次解放,次年战略撤城,1948年二次解放,建尚义县人民政府(驻南壕堑)属察哈尔省,1952年划归河北省,1958年并入张北县,1960年划归商都县,1961年五月恢复尚义县。
1970年,张家口专区改称张家口地区,尚义属之。
1993年7月1日,张家口地区并入张家口市,尚义属张家口市所辖。