据《山丹县志》载，删丹古城在焉支山谷地近钟山寺处，“以晓日出映，丹碧相间如'删'字，又名删丹山，而县以此得名。“
山丹秦时为月氏地，汉初属匈奴，后由骠骑将军霍去病收复，为张掖郡所辖。
夏帝禹元年，山丹属《禹贡》雍州之域，西戎氏之故墟。禹封少子于西戎，世代为首领。
周穆王十三年 祭公率师随穆王西征，西戎归顺。
汉代（前206－220年）以前，月氏国称雄于敦煌祁连间，山丹为其属地。
西周时期，戎、狄两族在这里居住。
春秋战国时，乌孙与月氏共居河西。其后，月氏逐乌孙而独居。
秦汉之际，北方的匈奴族强大起来，击败并赶走了月氏人，河西遂为匈奴右贤王的领地。黑河东、西分别由休屠王、浑邪王分领。
西汉时期，武帝元狩二年（前121），骠骑将军霍去病进军河西，战败匈奴，浑邪、休屠二王率众归汉。
汉元鼎六年（前111年），取“张国臂掖，以通西域”之意，置张掖郡，山丹为张掖郡治。
始建国元年（9年） 王莽废汉立新，令天下改郡、县名。张掖郡改名设屏郡、觻得改名官式。山丹为设屏郡治。
建武三年（27年） 光武帝刘秀令各郡、县恢复旧名。张掖郡及各县恢复原名称。
献帝兴平元年（194年）六月，分张掖郡之日勒、山丹置西郡。
两晋南北朝时期，沮渠蒙逊在山丹建立北凉国，都建康（今高台县骆驼城）。
隋初改为山丹卫，大力发展农业生产，山丹成为中国对外贸易的重要场所。
五代时，后梁乾化元年（911年），甘州回鹘攻沙州，张承奉力屈，订城下之盟。后唐庄宗同光二年（924年） 六月，甘州回鹘遣使向后唐纳贡，乃册封王仁美为英义可汗。后唐明宗天成三年（928年） 甘州回鹘王仁裕（仁美之弟）遣使纳贡，被封为奉化可汗。
北宋时期，天圣六年（1028年），党项族首领李元昊击败甘州回鹘，建立西夏。
元时期，置甘肃行省，山丹为省会。意大利旅行家马可波罗前往上都途中，曾在甘州停留一年，在《马可 波罗游记》中记述了张掖的富庶、城市的规模以及宗教寺庙的宏伟。
明时期，山丹为陕西行都司及甘肃镇的治所。
清时期，改置山丹县，山丹为甘州府治所，甘肃提督统军驻地，节制凉州、肃州、西宁、宁夏四镇总兵。
2002年属地级张掖市。
