新石器时期（距今七千年前至四千年前），仰韶文化人群先后从陕西、河南等迁入鄂尔多斯地区垦荒种田，把这里辟为农业区。这一时期的人类遗存遍布鄂尔多斯高原，准格尔旗就有坟玛、窑子粱、官地、阳湾、贺家沙背、张家圪旦等遗址。到了龙山文化晚期阶段（距今四千多年前），岱海老虎山文化后裔在鄂尔多斯落户，同时晋南、关中地区同期文化人群及后来的青海、甘肃地区齐家文化人群东进也来到鄂尔多斯地区。当时鄂尔多斯高原的生态环境正由森林草原向草原环境演变，气候逐渐变冷，促使农业经济向半农业经济发展。这一时期最具代表性的文化遗址准格尔旗有永兴店、二里半、大口。直到距今三千五百年左右，准格尔旗同鄂尔多斯其它地区一样，逐步转变为以畜牧业为主的社会经济状态。
当中原地区进入铜器时代之际（即夏商时期），鄂尔多斯高原也几乎同时有了铜器。铜器的使用，促进了社会经济的发展；自然环境的变化又使游牧经济从农业经济中分离出来。从此，鄂尔多斯就成了游牧人的故乡。当时，高原林草丰茂，森林分布在高原的北部、东部和南部，覆盖度在50%以上。
商周时期，准格尔旗多为北方游牧部落所占据，并同中原地区时有冲突。
战国初期，韩、赵、魏三家分晋，今鄂尔多斯东部的准格尔旗部分地区属魏国上郡辖区。并沿东部黄河10至20公里为界，筑起一道长城以防外侵。魏国被秦国战败后，被迫割让15县求和，其中就包括鄂尔多斯东部（今准格尔旗地区），一并纳入了秦国的版图。秦国为了防止北方少数民族侵扰，便从陇西、北地、上郡的北部直至今准格尔旗的十二连城乡修筑长城，并随长城种植一条榆树林带，时称“榆溪塞”。长城以东为秦国上郡辖区，以西为林胡、楼烦等民族的游牧区。
战国中期，匈奴族崛起，与鄂尔多斯境内林胡、楼烦等部落联盟，形成了一个强大的联盟集团，并乘秦国兼并六国的战争之机，攻入长城之内，占领了整个鄂尔多斯高原及陕西、山西北部部分地区。赵国与匈奴为邻，经常受到匈奴的威胁。赵武灵王时，经过“胡服骑射”的改革，国力大增，于公元前306年攻破林胡、楼烦部落，进入鄂尔多斯高原，并在今托克托县置云中郡，在高原的西北部置九原郡，辖管鄂尔多斯的东北部和西北部，实行军事屯田，发展农业生产，充实边防。公元前234年，秦军大败赵兵，鄂尔多斯高原又属秦所有。接着匈奴人又打过黄河，占领了鄂尔多斯高原。
秦始皇统一中国后，在鄂尔多斯地区设立郡县，准格尔旗东部、北部分别属云中郡、九原郡；西南部辖美稷县、平定县。在今准格尔旗纳日松镇勿图沟发现的古城，经考证，就是秦王朝所置的上郡属县广衍县城。秦末“诸侯叛秦，中国扰乱，诸秦所徙，戍边者复去”。鄂尔多斯高原又为匈奴冒顿单于复占，划编为右贤王驻牧区。
汉元朔元年（公元前128年），汉武帝发动了漠南之战，派大将卫青击走了驻牧在鄂尔多斯高原上匈奴属部绥颊王和白羊王部，占领了鄂尔多斯高原，在这里设置郡县，准格尔旗大部属云中郡。
隋朝时期，准格尔旗先属榆林郡，后归胜州管辖。据史料记载，开皇三年（583年）置榆林关，七年置松林县，属云州辖。二十年割云州榆林（准格尔旗十二连城古城），富昌（今准格尔旗天顺圪梁古城），金河（今托克托县哈拉板申古城）三县置胜州。大业五年（609年）炀帝改胜州为榆林郡，仍领榆林、富昌、金河三县，户2230，治所榆林县，辖境包括今准格尔旗和呼市的托克托县、和林格尔县的部分地区。大业三年，炀帝北巡，在胜州榆林县（准格尔旗十二连城古城）设宴招待突厥诸部及契丹、奚等各部酋长3500人，胜州因之名扬天下。
唐贞观三年，唐王朝置胜州（隋时的榆林郡）。天宝元年改为榆林郡，乾元元年复称胜州。领榆林（今准格尔旗十二连城古城）、河滨（今准格尔旗天顺圪粱古城）二县。户1187，人口20952，州治榆林县。
在五代十国时期，我国西北地区的一个名叫藏才族（也译作藏察勒族）的小藩部，乘战乱之机，进入今鄂尔多斯高原东部的准格尔旗境内。辽伐西夏时，藏才族首领王承美率部附辽，辽授其左手牛卫将军衔，并助其在今准格尔旗纳日松镇二长渠村筑城建砦。宋开宝二年（969年），王承美归宋，宋赐其城名为丰州。当时，北宋王朝称丰州（准格尔旗纳日松镇二长渠村古城）、府州（今陕西府谷县）、麟州（今陕西神木县北杨家城）为“河外三州”。三州分布为品字形，相互照应，固守北宋的北方门户。所以北宋王朝对丰州城很重视，封王承美为丰州牙内指挥使，后又提升为防御使，子孙世代承袭。1126年，金灭北宋，西夏人趁机占领丰州城，中间一度又被金人抢占，但后又复归西夏。
成吉思汗统一了漠北蒙古各部后，逐步南下，灭了金和西夏，准格尔旗为元王朝所占据。宋元时期，在鄂尔多斯高原东南部有一片以油松、杜松为主要树种的森林区，东北接晋西北地区，向西南到陕西榆林地区。但因气候变化的影响和人为的砍伐及战争破坏，森林逐年弱化，今准格尔旗著名的“油松王”，就是北宋英宗治平年间天然落种而生。
明洪武四年（1371年），明军攻下东胜州（今托克托县古城），置卫，同年元知院都连帖木儿等率众归附，明于东胜卫附近及鄂尔多斯高原东北部置失宝赤、五花城、斡鲁忽奴、燕只、瓮吉刺五千户所，安置蒙古归附人众，隶东胜卫辖。二十五年，又分东胜卫为东胜左、右、中、前、后五卫，次年，罢东胜中、前、后三卫。东胜右卫治所即今准格尔旗十二连城古城。永乐元年（1403年），东胜左、右卫徙至内地。正统三年（1438年）曾再度复置，但不久又废。
明宣德年间（1426—1435年），蒙古诸部势力日渐向南扩展，威胁明朝北部的安全，明朝也开始在北方陆续设置边镇，构筑边墙，其中延绥边墙就筑在鄂尔多斯高原的南部。这道边墙东起今准格尔旗龙口镇大占村紫城岩，西抵宁夏盐池东北，从此成了内蒙古鄂尔多斯市（原伊克昭盟）与陕西省的分界。
清顺治六年（公元1649年），清廷将鄂尔多斯部落分为鄂尔多斯左翼前、中、后和鄂尔多斯右翼前、中、后6个札萨克旗。鄂尔多斯左翼前旗，俗称准格尔旗。至此，准格尔旗初建旗政，由扎萨克总理旗务。
顺治年间，清朝皇帝为加强对鄂尔多斯部落的控驭，将长城以北50里宽，东西约2000里长的地带划为禁地，俗称“黑界地”。明确规定汉族农民不得逾越长城进入鄂尔多斯牧地，鄂尔多斯牧民也不能进入这块禁地，更不能越过长城进入汉族地区，使准格尔旗的南界进一步得到强化。
康熙36年（1697年），清廷准许陕西北部汉民越过长城在“黑界地”里耕种，每年向盟旗王府交租银。到雍正八年（1730年）又准许汉民在长城以北50里以内越界农耕，于是准格尔旗的农田逐步增大，牧地开始缩小。
宣统三年（公元1911年），爱新觉罗溥仪退位后，袁世凯任中华民国临时大总统，并宣布“清廷对待蒙古实行的种种政策继续生效”，所以伊盟的盟旗制度仍继续执行，七旗行政区划没有明显变动。
民国元年（1912年），民国北京政府成立，仍袭清制。抗战时期，马占山接受国民政府“警卫伊盟，兼守河防”的命令，率部开进了准格尔旗布军抗战，一直坚持到日本投降后，才率军撤走。
1948年4月，准格尔旗解放，成立准格尔旗临时政务委员会，政府驻地设于沙圪堵。
1950年4月，准格尔旗末代扎萨克奇福海回沙圪堵交印，旗政最终统一于人民政府。
1955年9月旗人民政府改称旗人民委员会。
1968年4月，又改称革命委员会。
1981年1月复改称人民政府迄今。
1999年8月旗人民政府驻地从沙圪堵迁址薛家湾。
