曾为潞子婴儿国，后并于晋国。战国时，属韩国。周显王二十一年（前348）韩首置上党郡，后归赵国。秦王政二十六年（前221），秦统一六国后，实行郡县制，分天下为36郡，上党郡即为其中之一。
东汉沿用秦制，上党郡属并州。建安十八年（213），上党郡入冀州。
三国魏黄初元年（220），上党郡复归并州。西晋永兴元年（304），上党郡属前赵，建兴中（313～317）归后赵。后上党郡归西燕。太和5年（370），苻坚灭燕，上党郡入后秦。太元十一年（386），慕容永称帝于长子，上党郡归之。北周建德七年（578），分上党郡置潞州（是为潞州建置之始），上党郡属焉。州得名，因潞子之国。
隋开皇三年（583），上党郡废，移潞州于壶关。大业元年（605），改潞州为上党郡，隶冀州。
唐武德年间（618～627），改上党郡为潞州，并置都督府。开元十七年（729），以玄宗历试尝在潞洲，置大都督府，并置上党郡。开元二十一年（733），潞州、上党郡属河东道。大历元年（766），置昭义军。
五代后唐庄宗初，置潞州。梁末帝时（913～914），改为匡义军，岁余，唐灭梁，改为安义军。后晋（936～947），复为昭义军；后汉、后周（947～960）因之。
宋代，太平兴国初（976为元年），改昭义军为昭德军，后为潞州。元丰年间（1078～1085），为隆德府、大都督府、上党郡、昭义军，隶河东路。建中靖国元年（1101），昭义军改为威胜军。崇宁三年（1104），复为隆德府，后为昭德军。
金代（1115～1234），潞州隶河东南路，天会六年（1128），置潞南辽沁观察处。
元代（1206～1368），潞州属晋宁路。初为隆德府（行都元帅府事）。太宗三年（1231），复为潞州，隶平阳路。
明洪武元年（1368），沿用元制。初，潞州隶行中书省布政使司；洪武二年（1369），隶山西中书省，九年（1376），隶布政司。嘉靖八年（1529）二月，升潞州为潞安府，设潞安兵备，分巡冀南道，治潞安。
清代（1616～1911），沿用明制，潞安府治今长治城。
中华民国元年（1912），实行省、道、县3级制，废潞安府，原潞安府所领各县均属冀宁道。同年4月，于今长治市置潞泽辽沁镇守使署；民国5年（1916）改为潞泽辽沁营务处。
民国13年（1924），撤销营务处。
民国19年（1930），撤销冀宁道，各县直隶山西省。
民国26年（1937），山西省政府（阎锡山政权）置第三、第五专区。
抗日战争时期，中国共产党以太行、太岳山为依托，建立了抗日根据地。
1945年10月8日，长治解放。当月中旬，长治市（县级）建立，隶太行四专区。
1946年6月，长治市升格为地级市，直隶太行区。
1950年3月，长治市改为长治工矿区（县级）。
1952年3月，工矿区复为长治市，并恢复为地级市，由长治专区代管。
1953年7月1日，长治市改由山西省直辖。
1958年，长治专区改为晋东南专区，代管长治市。
1971年，晋东南专区改为晋东南地区。
1975年，长治市复由山西省直辖，设城、郊两区。
1983年9月，长治市辖城、郊两区和长治、潞城2县。
1985年5月，晋东南地区撤消，晋东南地区所辖平顺、壶关、黎城、屯留、长子、武乡、沁源、襄垣、沁县，划归长治市领属，长治市辖2区11县（市）。
