秦灭燕后归秦。
两汉时期,武帝元朔元年(公元前128年),“秽君南闾等率28万口内属辽东”。元封四年(公元前107年),“汉拨秽貉朝鲜以为郡”,克山地属秽貊生息之地。为玄菟郡所辖。
隋朝,克山地在室韦部辖治之内。
唐代为了加强对室韦地区的统治,在当地设立室韦都督府,以“平卢军节度使镇抚室韦、靺鞨”,克山地为其所辖治,隶属河北道。
辽时:克山地为室韦王府辖境,隶属东京道。
金时:克山地隶属上京会宁府。海陵王完颜亮时,“建五京,置十四总管府。是为十九路”,克山一带为蒲峪路治所近畿之地。
元朝,公元1214年成吉思汗分封东方诸王时。松嫩平原一带划归其幼弟铁木哥斡赤斤分封领地。元世祖忽必烈至元四年(1267年)到元贞年间隶属辽阳行省开元路;至元二十四年(1287年),斡赤斤玄孙乃颜叛乱兵败被杀后,其所袭之地纳入辽阳行省辖地。并设蒲峪路屯田万户府,克山地划为该府所辖。
大德年间(1297年)以后水达达路从开元路分置,克山地隶属辽阳行省水达达路管辖。
明初,这一地区为奴儿干都指挥使司下设的福余卫所辖。到永乐四年(1406年)和永乐五年,先后增设苏温河卫、纳木河卫,克山境内南部为苏温河卫所辖,克山北部为纳木河卫所辖。
清初,为鄂伦春、索伦(今鄂温克)、达呼尔(今达斡尔)等游牧民族的狩猎区。
清康熙年间,克山为黑龙江将军所辖之齐齐哈尔副都统管辖之地;同时,境内的游牧民族又归布特哈总管巡查。
光绪三十二年(1906年),分置东、西布特哈,克山一带隶属东布特哈辖治。
宣统元年(1909)布海官道(布特哈至海伦)修竣后,在今克山镇处设第三站。宣统二年(1910年)设讷河直隶厅,隶属黑龙江行省讷河直隶厅。
1913年(中华民国2年),讷河直隶厅改为县。此地隶属讷河县。为警察11区及4区、12区部分井地。
1915年(民国4年)3月,经黑龙江巡按公署呈请设立讷东政治局,隶属黑龙江省龙江道。将讷河县东境、南境原警察区域第4、11、12区划为讷东设治局辖境,委任薛翘如为设治员。衙署初设二克山(今克东县城),因治所附近有双山并峙,俗称克尔克图山(喀尔喀勒图山),简称二克山。因山命名,遂于3月21日改称克山设治局,8月2日 改设克山县。9月,县衙迁移“三站”(亦称察霍镇,今克山县城)。
1932年(伪大同元年)6月7日,日军侵占克山县,仍沿续民国初期隶属关系。
1934年12月1日开始实行新省制,将东北地区分割为4个省,克山县划归龙江省。
1947年2月4日,黑龙江省与嫩江省合并。成立黑龙江、嫩江联合省(简称黑嫩省),克山县隶属黑嫩省第一专区所辖。9月16日,重新划分黑龙江、嫩江两省,仍隶属黑龙江,1949年4月再次合并,归属新组建的黑龙江。
1954年8月1日,松江省同黑龙江省合并为新的黑龙江省,克山县为省直属县。
1955年1月31日,置嫩江专区,克山县隶属之。
1960年5月12日,撤销嫩江专区,克山县划归齐齐哈尔市。
1961年10月7日复划归嫩江专区。
1968克山县隶属嫩江地区。
1984年12月15日撤销嫩江地区,克山县划为齐齐哈尔市辖县。