商、周为羌、戎地。
战国末期入秦国版图。
秦昭王二十八年（公元前278年）秦置陇西郡，县境属秦枹罕县。公元前221年，秦始皇统一六国，县地仍属陇西郡枹罕县。
西汉初，县地属陇西郡枹罕县，昭帝始元六年（公元前81年）取天水、陇西、张掖三郡各二县，置金城郡，县境属金城郡枹罕县。神爵二年（公元前60年），置河关县，属金城郡。
东汉初，县地分属凉州刺史部金城郡河关、枹罕两县。建武十二年（36年）省金城郡入陇西郡，枹罕、河关县皆属之。中平元年（184年）十一月，陇西宋建聚众据枹罕割据自立，自号“河首平汉王”，设百官，改元自立30年。建安十九年（214年），曹操遣夏侯渊率兵攻克枹罕，斩杀宋建，平定河关，渡黄河入小湟中，河湟遂安。
三国时，属魏。
西晋初，属秦州陇西郡。西晋惠帝永宁中（301～302年），凉州刺史张轨分西平郡界，置晋兴郡。在县地大河家设临津县，属晋兴郡。
十六国时自治县境相继为前凉、前赵、后赵、前秦、后秦、西秦、后凉等割据政权辖地。
西秦永康元年（412年），属建昌郡，北魏又设置。乞伏暮末永弘四年（431年），西秦为夏赫连定所灭。县境遂入于吐谷浑。北魏太平真君六年（445年），县地入北魏管辖。西魏大统十二年（546年），河州刺史杨宽于凤林川置凤林县，县境东南、东北部地面属凤林县管辖。北周时，县地分属凤林县和枹罕县。
隋初，县境属枹罕郡，开皇三年（583年）改枹罕郡为河州，县地属之，大业三年（607年），改河州归枹罕郡，临津县属之。后设积石镇。
唐武德二年（619年）置河州，辖枹罕，县境属之。贞观五年（631年）置米州。贞观十年（636年）米州废，设米州县，属河州。贞观十一年（637年）置安乡县。永徽六年（655年），米川县移于黄河以北（青海省境），改属廓州。仪凤元年（676年）安乡县西移至安乡城（安集乡境内），县地分属安乡、枹罕二县。随后设积石军归属陇右节度使。天宝元年（742年），改安乡县为凤林县，改河州为安乡郡。代宗宝应元年（762年）县地陷于吐蕃。宣宗大中二年（848年），张议潮趁吐蕃内乱，率众起义，收复河西及兰、河、岷等十一州，县地归唐，不久，复陷于吐蕃。
宋大中祥符年间（1008～1016年），吐蕃唃厮啰政权强大，控制河湟地。神宗熙宁元年（1068年），木征以河州归附，复置安乡郡，属熙州路。五年（1072年）宋遣王韶击败木征，置熙河路。六年（1073年）五月，王韶命景思立知河州。县境属之。
金天会九年（1131年），金兵入陇右，取熙、河、兰诸州，河州入于金。天会元年（1123年），金设积石州。金初，沿宋制，县地属临洮府河州。皇统二年（1142年）更临洮府为临洮路，仍属之。南宋宝庆二年（1226年）蒙古灭西夏后，攻克河州、积石州，县地入蒙古汗国。
元初属陕西行中书省巩昌路。元始祖至元六年（1269年）改河州为河州路，隶宣政院，辖定羌、宁河、安乡三县。
明洪武三年（1370年），明将邓愈攻克河州。明洪武四年（1371年），置河州卫，受辖于陕西都司西安行都卫。基层实行里甲制度，河州原制45里，明嘉靖时人丁减少缩为31里，县境内有银川、木叶、吹麻、下川、样卑5里。六年（1373年）置河州府，领宁河、安乡二县，县地属安乡县。成化九年（1473年）改河州军民指挥使司为河州卫，复置河州。县境银川里、木叶里、吹麻里、样卑里、下川里皆属河州。
清初，县境属临洮府河州管辖。康熙四十四年（1705年），废除明代里甲制，改设会社制，县地为西乡二十九会中的十八会。乾隆二十七年（1762年）移河州同知于循化营，设循化厅，县境内癿藏、红崖、端言、回回、迭古、仰化六部族，归其管辖。
民国元年（1912年），分甘肃省行政区划为七道，县地属兰山道河州。
民国二年（1913年），北洋政府废府、州制，将河州改为导河县，县境属之。
民国十八年（1929年）改导河县为临夏县，县境癿藏、小关、中咀岭、居集乡部分沿山地区属循化县，银川、铺川、安集等地属永靖县，其余属临夏县。
1949年8月，在中国共产党的领导下，积石山解放，人民获得新生。
1949年8月至1958年，县境除安集、银川、铺川乡外，其余属临夏县。
1958年底，临夏市、临夏县、永靖县合并为临夏市。
1961年，恢复临夏县建制，县境属临夏县。
县城全景
1980年6月14日，国务院批准成立积石山保安族东乡族撒拉族自治县。
