古为羌地。汉元始四年（公元4年），王莽在今海晏县三角城设置“西
海郡”，辖海晏、刚察等地区。后因王莽篡政纷乱，郡邑废弃。东汉永元十四年（公元102年），复置“西海郡”（以上见《西宁府新志》）。晋和十六国时（公元265-420年），设置西平郡，海北州属西秦、北凉、南凉统治（见《甘肃通志稿》）。
隋大业五年（公元609年），炀帝击败吐谷浑伏允主力后，又设置“西海郡”，郡治多至伏俟城，海晏、刚察仍属期管辖（见隋书）。唐贞观五年（公元631年），设置米川县，辖门源地区。唐咸亨三年（公元672年），徒吐谷浑诺曷钵于浩门水南。唐广德元年（公元763年），徒蕃占据青海，海北州属其域（以上见《甘肃通志稿》）。元朝设吐蕃等处宣慰司都元帅府，海北州归其管辖。
明洪武八年（公元1378年），设安定、阿瑞二卫。海北州在二卫辖境。明正德四年（公元1509年），蒙古族和硕特部落固始汗自新疆入青海，统一了蒙古族分编为5部29旗。其中，海北地区有11旗，置于青海钦差大臣（驻西宁）管辖之下。同时，筑起了大通（今门源县城）、白塔（今大通县城关镇）、永安（门源县城西北55千米处）3城，在今门源县城设“大通卫”，辖永安营和白塔营，属西宁府管辖。
清乾隆九年（公元1744年）迁卫于白塔。清乾二十六年（公元1761年），改卫为县治。
海北藏族自治州民国时期
民国十八年（1929年）青海建省后，先后置亹源县、祁连设治局、海晏设治局（后改设海晏县），均由省直辖。
1929年，划达坂山以北设置门源县，祁连地区和原属西宁府的仙米、珠固划归门源县。
1939年，设祁连设治局。
1943年，海晏建县。刚察为教兰理事辖区。
海北藏族自治州解放后
1949年海北解放，成立亹源县政府，1950年至1952年成立海晏县、刚察行政委员会、祁连自治区。
1953年12月31日设立海北藏族自治区，辖亹源回族自治区（驻浩亹镇）、祁连县（原祁连自治区改设，驻八宝寺）、刚察县（原刚察区改设，驻沙柳河）、海晏县（原海晏县藏族自治区恢复为县，驻三角城），自治区人民政府驻亹源县浩亹镇。
1955年，海北藏族自治区改设海北藏族自治州，亹源回族自治区改设亹源回族自治县。
1993年7月驻地迁至海晏县西海镇。
1995年1月11日，海北藏族自治州人民政府驻地由门源回族自治县浩门镇迁至海晏县原二二一厂基地（即西海镇）。
1999年全州辖4县（门源、祁连、刚察、海晏县），3场（托勒牧场、青海湖农场、同宝牧场）。
2001年3月5日，撤销祁连县多隆、默勒2乡，合并设立默勒镇；撤销峨堡乡，设立峨堡镇。撤销门源县东川、克图2乡，合并设立东川镇；撤销旱台、泉沟台2乡，合并设立并命名为泉口镇；撤销大滩乡，并入青石嘴镇。撤销海晏县银滩乡，设立并命名为三角城镇。撤销刚察县沙柳河乡，设立沙柳河镇。2001年底，全州辖10个镇、18个乡、3个民族乡，6个居委会、206个村（牧）委会。
2004年7月，刚察县区划调整：撤销哈尔盖乡，设立热水镇。
2006年8月，海北州：乡镇总数由32个（11镇21乡）调整为30个（11镇19乡）。海晏县：撤销甘子河乡、托勒蒙古族乡，合并设立达玉蒙古族乡。祁连县：撤销柯柯里乡，并入野牛沟乡。刚察县：热水镇更名为哈尔盖镇。
