秦灭燕后归秦。
两汉时期，武帝元朔元年（公元前128年），“秽君南闾等率28万口内属辽东”。元封四年（公元前107年），“汉拨秽貉朝鲜以为郡”，克山地属秽貊生息之地。为玄菟郡所辖。
隋朝，克山地在室韦部辖治之内。
唐代为了加强对室韦地区的统治，在当地设立室韦都督府，以“平卢军节度使镇抚室韦、靺鞨”，克山地为其所辖治，隶属河北道。
辽时：克山地为室韦王府辖境，隶属东京道。
金时：克山地隶属上京会宁府。海陵王完颜亮时，“建五京，置十四总管府。是为十九路”，克山一带为蒲峪路治所近畿之地。
元朝，公元1214年成吉思汗分封东方诸王时。松嫩平原一带划归其幼弟铁木哥斡赤斤分封领地。元世祖忽必烈至元四年（1267年）到元贞年间隶属辽阳行省开元路；至元二十四年（1287年），斡赤斤玄孙乃颜叛乱兵败被杀后，其所袭之地纳入辽阳行省辖地。并设蒲峪路屯田万户府，克山地划为该府所辖。
大德年间（1297年）以后水达达路从开元路分置，克山地隶属辽阳行省水达达路管辖。
明初，这一地区为奴儿干都指挥使司下设的福余卫所辖。到永乐四年（1406年）和永乐五年，先后增设苏温河卫、纳木河卫，克山境内南部为苏温河卫所辖，克山北部为纳木河卫所辖。
清初，为鄂伦春、索伦（今鄂温克）、达呼尔（今达斡尔）等游牧民族的狩猎区。
清康熙年间，克山为黑龙江将军所辖之齐齐哈尔副都统管辖之地；同时，境内的游牧民族又归布特哈总管巡查。
光绪三十二年（1906年），分置东、西布特哈，克山一带隶属东布特哈辖治。
宣统元年（1909）布海官道（布特哈至海伦）修竣后，在今克山镇处设第三站。宣统二年（1910年）设讷河直隶厅，隶属黑龙江行省讷河直隶厅。
1913年（中华民国2年），讷河直隶厅改为县。此地隶属讷河县。为警察11区及4区、12区部分井地。
1915年（民国4年）3月，经黑龙江巡按公署呈请设立讷东政治局，隶属黑龙江省龙江道。将讷河县东境、南境原警察区域第4、11、12区划为讷东设治局辖境，委任薛翘如为设治员。衙署初设二克山（今克东县城），因治所附近有双山并峙，俗称克尔克图山（喀尔喀勒图山），简称二克山。因山命名，遂于3月21日改称克山设治局，8月2日 改设克山县。9月，县衙迁移“三站”（亦称察霍镇，今克山县城）。
1932年（伪大同元年）6月7日，日军侵占克山县，仍沿续民国初期隶属关系。
1934年12月1日开始实行新省制，将东北地区分割为4个省，克山县划归龙江省。
1947年2月4日，黑龙江省与嫩江省合并。成立黑龙江、嫩江联合省（简称黑嫩省），克山县隶属黑嫩省第一专区所辖。9月16日，重新划分黑龙江、嫩江两省，仍隶属黑龙江，1949年4月再次合并，归属新组建的黑龙江。
1954年8月1日，松江省同黑龙江省合并为新的黑龙江省，克山县为省直属县。
1955年1月31日，置嫩江专区，克山县隶属之。
1960年5月12日，撤销嫩江专区，克山县划归齐齐哈尔市。
1961年10月7日复划归嫩江专区。
1968克山县隶属嫩江地区。
1984年12月15日撤销嫩江地区，克山县划为齐齐哈尔市辖县。
