西汉时，图们地处苍海、玄菟郡境内。东汉和三国时期，为北
沃沮地，后为高句丽占，辖属于高句丽。
西晋时属肃慎（即挹娄）地。南北朝时，为靺鞨辖地，地属勿吉白山部。
北魏时，继为勿吉地。隋和唐代初期，地属勿吉白山部，附于高句丽。唐和五代时期，属渤海国显德府。
辽代为东京道星显路的女真部领地。
金代初期属上京路的速频路，后划归曷懒路，后期属东夏国的南京地。元代属开元路南京万户府。
明代隶属奴尔干都司、布尔哈图等卫所。
1644年4月，清政府将兴京、伊通以南，图们江以北地区列为禁山围场自清朝开禁以来，现图们市境也在被封禁之列。从清初至
年间的二百多年里，图们市境成了人烟稀少的一片荒凉地带。
1913年，延吉县建县伊始，图们划为延吉县志仁乡五
甲依兰沟管辖，时称艾蒿甸子或灰幕洞，为一自然屯。随着朝、汉垦民的迁入，到1925年时有居民20余户。
1931年，图们始为百余户村屯，仍为延吉县属。
1933年6月1日，灰幕洞改称图们。
1934年改称伪间岛省延吉县图们市。
1936年图们市改称图们街，市公署改称街公署。
1945年8月17日，图们解放。国民党分子和敌伪残余势力于8月20日自行成立图们地方临时自治委员会。同年10月，图们临时自治委员会改称图们街公所。11月，图们街公所改称图们街政委员会。
1946年2月，中共图们区委在民主大同盟的协助下，对图们街政委员会进行了整顿，改称图们市政府。
1946年3月，正式成立图们市政府。
1949年9月，改称延吉
县图们市人民政府。
1952年9月3日，随延吉县人民政府归延边朝鲜族自治区人民政府辖，后归自治州人民政府辖。
1956年3月，延吉县人民政府撤销图们市建制，设立图们镇和农安乡。同年4月，图们镇人民政府改称图们镇人民委员会。
1965年4月，经延边朝鲜族自治州人民委员会批准，把图们镇和石岘镇各从延吉县（今龙井市）和汪清县划出成立图们市，为延边朝鲜族自治州县级直辖市。
1965年5月1日，经全国人大常委会批准始定称图们市。
1968年7月16日，图们市革命委员会成立，替代市人民委员会。
1969年7月，经吉林省革委会批准，将延吉县的月晴公社和汪清县
的新农公社划归图们市。
1980年7月23日，改图们市革命委员会为图们市人民政府。
1983年8月，撤销人民公社建制，恢复乡镇建制，设乡镇人民政府。
1984年11月15日，经省政府批准将原新农乡和石岘街道办事处合并为石岘镇。
1988年7月，将延吉县长安镇划归图们市管辖。
1990年7月，又将珲春市凉水镇划入图们市。
1994年，月晴乡人民政府改称月晴镇人民政府。
2003年10月，经省政府批准，红光乡合并入月晴镇。
