，明末文渊阁大学士、著名科学家徐光启在肇嘉浜和李氵从泾两水汇合处附近建立农庄别业，从事农业实验和著书立说，并与意大利人、欧洲传教士利玛窦合作，开创了中西文化交流的先河。嗣后，徐氏家族世代汇居于此，遂称为徐家汇，区名由此而得。
区境在唐、五代、宋时属华亭县，元、明、清时属上海县。清宣统二年（1910年），属上海县，分属上海城、法华乡、漕河泾乡。
民国 3年（ 1914年），法租界第三次扩张，今肇嘉浜路以北、华山路以东、陕西南路以西、长乐路以南地域划入法租界范围，其余地区分属北洋政府管辖的法华乡、漕河泾乡和法租界。
民国16年（1927年），南京国民政府设上海特别市，区境分属沪南区、法华区、漕河泾乡和法租界。抗日战争期间，华界先后属日伪上海市大道政府、督办上海市政公署和上海特别市政府管辖，分属南市区、沪西区，另有法租界。
民国 33年（1944年），属上海特别市管辖，分属第四区、第七区、第八区（原法租界）。抗日战争胜利后，区境属上海市第七区（常熟区）、第八区（徐家汇区）、第二十六区（龙华区）。
民国 36年（1947年）取消区的序号，直称常熟区、徐汇区、龙华区。
1949年5月24日区境解放。
1950年 6月，成立常熟区人民政府和徐汇区人民政府。
1956年 3月，常熟区与徐汇区合并为徐汇区。
1964年 5月，闵行区划归徐汇区。
1982年 4月，原闵行区建制恢复，从徐汇区划出。
1984年 9月，上海县龙华镇和漕河泾镇划属徐汇区。
1990年末，辖有天平、永嘉、湖南、新乐、枫林、徐镇、斜土、漕北、宛南、田林、长桥、虹梅 12个街道和龙华镇、漕河泾镇。
1991年对原湖南、新乐、宛南、漕北4个街道行政区域进行调整，撤销上述4个街道办事处，建立新的漕溪北路街道和湖南路街道办事处。
1992年7月，上海县龙华乡划归徐汇区。
1994年3月，对原徐镇、天平、永嘉、枫林、漕北5个街道行政区域进行调整，撤销上述 5个街道办事处，建立徐家汇街道和新的天平路街道、枫林路街道办事处。
1998年5月，龙华乡撤乡建镇，易名为华泾镇。2001年2月，龙华镇和漕河泾镇撤镇建街道。2004年，配合铁路上海南站建设和管理，完成漕河泾、龙华、长桥、康健新村、凌云路5个街道行政区域调整工作。
截至2013年12月，徐汇区辖有湖南路、天平路、斜土路、枫林路、徐家汇、田林、虹梅路、康健新村、长桥、凌云路、漕河泾、龙华12个街道和华泾镇；有居民委员会304个。2012年实现生产总值1007亿元，增长7.8%。2012年末户籍人口91.69万人，2012年末常住人口111万人。
