林芝历史古老，可以追溯到西藏的史前时期。20世纪70年代，尼洋河边发现了一批新石器时代的人类遗骨和墓葬群，考古表明早在4000-5000年之前，林芝地区已有人类从事刀耕火种的农业，过着相对定居的生活。出土文物中的网坠、箭头，说明这里的人们不仅在古代的尼洋河、雅鲁藏布江水滨从事农业，也兼从事渔业。
林芝历史的最早的文字记录见于工布第穆摩崖石刻上。该石刻位于林芝县门日区广久雍仲增村附近，面向西南，已有1200多年的历史，字迹仍然清楚。
此后许多年工布地区都由工布王统治。
到了萨迦时期和帕竹时期（13-16世纪），林芝地区成了藏传佛教噶玛噶举派的势力范围。17世纪甘丹颇章政权成立，林芝地区被分封为阿沛、江中、甲拉等几家地方首领的领地，不久又划分成立了则拉、觉木、雪卡、江达等宗。而波密地方，长期为土酋噶朗德巴统治，处于割据状况。
民国二十年（1931年），西藏地方政府将林芝波密地方划为波堆、波密两宗，墨脱地区改为墨脱宗。
1951年5月西藏和平解放。
1959年中央人民政府平定西藏叛乱后对西藏实施全面直接管辖，开始实行民主改革。
1960年1月成立塔工专员公署，同年2月改设林芝专区，专署驻林芝县。将拉绥溪、古如朗木杰溪、加查宗、朗宗、金东溪划归山南专区。原属昌都地区的嘉黎宗、倾多宗、易贡宗、曲宗划入林芝专区。以德木宗西部与觉木宗东部、则拉岗宗东北部合并设林芝县（驻尼池村）；以白玛桂（包括金珠、珞堆卡）设墨脱县；以则拉岗的西南部设米林县；以江达宗设工布达县（驻江达村，即太昭）；以雪喀宗和觉木宗西部设雪巴县（驻雪巴村）；以嘉黎宗设嘉黎县；将倾多宗、易贡宗、曲宗合并设波密县（驻扎木）。林芝专员公署辖林芝、墨脱、工布江达、雪巴、波密、米林、嘉黎等7县。
1963年10月林芝专署撤消，波密县划归昌都地区，林芝、工布江达、米林、墨脱4个县划归为拉萨市管辖。
1986年2月1日，林芝地区行政公署正式恢复，下辖林芝县、米林县、工布江达县、墨脱县、波密县、察隅县、朗县7个县，55个乡镇，614个行政村。
2015年3月，国务院批复同意撤销林芝地区和林芝县，设立地级林芝市；林芝市设立巴宜区，以原林芝县的行政区域为巴宜区的行政区域；林芝市辖原林芝地区的工布江达县、米林县、墨脱县、波密县、察隅县、朗县和新设立的巴宜区。
