公元前133年至公元前119年,汉武帝派遣张骞出使西域,先后击败了占据河西
地区的匈奴王休屠和浑邪,于公元前111年设张掖郡,祁连山一带正式归入中原版图。其后河西回鹘(裕固族先民)曾攻入甘州,随后占据河西走廊西部,并立国,设牙帐于张掖,统治河西约1400余年。
辛亥革命后,设甘凉道和安肃道,肃南地区大部分属安肃道管辖,隶属酒泉、高台、临泽、张掖、民乐各县。
1949年新中国成立后,今肃南县所属的祁丰、明花、大河、康乐、马蹄等区都以原有的各少数民族部落为基础,建立了区、乡基层人民政权,区、乡行政领导人从各民族中的优秀分子和部落头目、宗教上层人士中选出。
1952年,党和政府就开始进行这一地区民族自治地方机构的筹建工作,并成立了中共肃南县工作委员会。
1953年7月18日,决定在裕固族聚居的原高台县第六区、酒泉县祁明区、张掖县康乐区的基础上成立裕固族自治区(县级)。
1954年2月14日至20日在红湾寺召开了首届人民代表会议,正式通过成立肃南裕固族自治区人民政府(县级),标志着肃南裕固族自治县的正式成立。
1957年,又将原属民乐、张掖管辖的马蹄区划肃县。
1959年,肃南与青海省的行政区划进行了一次大的调整,将肃南的陶东部、八字墩、友爱的草划归青海省,将青海省的城滩草原移交肃南县。
2004年,撤销了6个区公署建制,将原来的23乡1镇撤并为祁丰、明花、大河、康乐、马蹄及白银等6个乡,红湾寺和皇城2个镇。