西汉前期阜康属郁立师国境,政治上隶属匈奴,统辖于僮仆都尉。
汉明帝永平十七年(74)阜康复隶于汉,阜康的政治隶属关系很不稳定。
魏、晋之世北匈奴沿天山北麓西迁欧洲,途经阜康,后为鲜卑右部及柔然汉国(402-554)的游牧范围。太和十一年(487)以副伏罗部为核心的高车汗国脱离柔然独立,阜康属高车汗国疆域。高车汗国覆亡后,阜康又经历了柔然的短暂统治,至西魏废帝元年(552)突厥汗国建立,转归突厥。东西突厥分立以后,阜康归属西突厥汗国左厢咄陆诸部牧地。
贞观十四年(640)唐太宗创立安西都护府,阜康隶属安西都护府。
宋辽时期,属于高昌回鹘国和西辽管辖。
元代属于别失八里行尚书省管辖。
明代成为东察合台汗国游牧地。
十七世纪二、三十年代,准格尔势力日盛,创建了准格尔汗国,灭亡了东察合台汗国,阜康地区归属准格尔,为图尔古特部牧地,旧名尔然则,后称特纳格尔。
清初属于伊犁将军府统领。
乾隆四十一年十月二十日(1777年1月8日),乾隆帝批准将特纳格尔州判改为阜康县。
清光绪十年(1884),新疆省成立,阜康县隶属迪化府。
民国时期(1912-1949),阜康县隶属镇迪道。
1949年9月26日新疆和平解放。
1950年阜康县建立人民政府,隶属迪化专员公署。
1958年划归昌吉回族自治州管辖。
1992年11月3日撤县设市,定名为阜康市。