东晋后期，今海西西部为吐谷浑属地，东部为鲜卑乙弗国地（后并于吐谷浑）。吐谷浑首领拾寅在位时（约公元452年），曾在白兰（今都兰县诺木洪一带）修建城廓，至吐谷浑伏连筹即位期间（公元491—529年）曾建都于今海西境内，后移置伏俟城（今共和县石乃亥乡铁卜洽古城）。
隋大业五年（公元609年），隋军击败吐谷浑，在其地设置四郡，今海西东部属西海郡，西部属鄯善郡。隋末，吐谷浑复据故地。
唐贞观十年（公元636年），吐谷浑成为唐属国。龙朔三年（公元663年），吐蕃王国灭吐谷浑据有其地，今海西州曾隶吐蕃腊城节度使。
宋代，今海西西部为撒里畏兀尔（即黄头回纥）地，东部为吐蕃地方政权——角厮啰势力范围。
元代，今海西州西北地区为甘肃行省沙州路辖区，其馀大部为宣政院所属吐蕃等处宣慰司辖区。元顺帝时，设曲先答林元帅府，封卜烟帖木儿为宁王，镇守今柴达木西部地区。
明初，今海西为安定、阿瑞、曲先、罕东四卫地，由西宁卫兼管。武宗正德七年（公元1512年）左右，东蒙古诸部开始进入青海，攻破塞外四卫，至此，成为东蒙古诸部统治地区。崇祯十年（公元1637年），居住在今新疆卫拉特蒙古（即西蒙古）和硕特部，在其首领顾实汗的率领下进入青海，统辖今海西地区。
清雍正三年（公元1725年），清庭编定青海蒙古左右两翼盟29旗，今海西州境划定9个蒙古旗，统归“钦差办理青海蒙古番子事务大臣”管辖。乾隆二十二年（公元1757年），班禅商上喇嘛移住巴彦托辉、岳霍洛依（即今都兰县香日德一带），为班禅香家旗。咸丰八年（公元1858年），藏族汪什代海部落迁入今天峻县境内驻牧，当地的蒙古北前旗北迁祁连。至光绪年间（公元1875—1908年）藏族沟里、日安两个百户部落迁入今都兰县境内落居。
民国元年（公元1912年）7月，青海办事大臣改为青海办事长官，今海西地区属之。次年增设蒙番宣慰使，管理蒙藏事务。
民国4年（公元1915年），改由甘边宁海镇守使兼管。
民国6年（公元1917年），归都兰理事辖，上隶甘边宁海镇守使。
民国19年（公元1930年），改都兰理事为都兰县，辖今海西州全境，上隶青海省。
民国27年（公元1938年），在今都兰县察汗乌苏镇设立青海省第八行政督察专员公署，民国30年（公元1941年），改称青海省第一行政督察专员公署，都兰县属其管辖。此间，从民国24年至民国30年（公元1935—1941年），生活在新疆的部分哈萨克族先后迁入今海西州境内落居。
1949年9月，青海解放。同年11月成立都兰县人民政府（驻地察汗乌苏），辖今海西州全境，直隶青海省。
1952年9月26日撤销都兰县，设立县级“都兰县蒙藏哈萨克族自治区”，1954年1月25日改建为专区级“海西蒙藏哈萨克族自治区”（驻察汗乌苏），1955年12月12日更名为“海西蒙藏哈萨克族自治州” 。
为开发建设柴达木盆地，1955年7月30日在格尔木设立了“柴达木工作委员会”，作为青海省人委派出机构，处理开发建设柴达木盆地的日常工作。
1956年2月更名为“柴达木盆地工作委员会”，同年3月驻地迁至大柴旦。
1957年4月撤销“柴达木盆地工作委员会”，改设“柴达木盆地行政委员会”，1958年1月更名为“柴达木行政委员会”。
1959年1月，海西州人委由察汗乌苏迁驻大柴旦与“柴达木行政委员会”合署办公。
1963年8月26日撤销“柴达木行政委员会”，全政区称“海西蒙古族藏族哈萨克族自治州”。
1985年5月21日定名为“海西蒙古族藏族自治州”。
夜色中的德令哈市民族团结塔
1988年4月19日，设立德令哈市（县级），以德令哈镇和乌兰县的怀他头拉、戈壁、郭里木、宗务隆、畜集五个乡为德令哈市的行政区域。
1999年海西州辖2市（格尔木，德令哈）、3县（都兰、乌兰、天峻）、3个行政委员会（茫崖，冷湖，大柴旦行政委员会），共43个乡镇，3个街道办事处。总人口的31.23万人。
2001年2月21日，撤销德令哈市怀头他拉乡，设立怀头他拉镇；撤销郭里木乡，设立并命名为尕海镇。撤销天峻县天棚、关角2乡，合并设立并命名为新源镇。撤销都兰县夏日哈乡，设立夏日哈镇。撤销乌兰县巴音乡，并入茶卡镇。
2002年底，海西州辖3个街道、14个镇、27个乡，263个村（牧）委会、32个居委会。2003年底，海西州辖8个街道、14个镇、27个乡，277个村（牧）委会、63个社区居委会。
