汉 高祖四年（前203），赵佗据岭 南立南越国，四会县为其属地。
西汉元鼎六年(公元前111年) 地域内置8县，四会县隶属南海郡；广信、谢沐、高要、封阳、端溪5县隶属苍梧郡；高凉县、临允县隶合浦郡；统属交州。
三国 吴黄武五年（226），将县东南部（即今三水、鹤山、新会、江门、开平、台山、斗门等县市部分地区）划出置平夷县（后改为新夷县、新会郡）。
南北朝时期(公元420～479年)，设置高要、广信、封兴、武化、端溪、
晋化、都城、乐城、悦城、夫阮、安遂、宾江、文招、南兴、新兴、临允、甘东、单牒、龙潭、抚纳、博林、威平、新招、化蒙、化穆、四会、怀集、化注、平兴、初宁、招兴、建宁、崇化、熙穆、崇德、谢沐、开建、永固38县，分隶南海、苍梧、晋康、新宁、绥建、宋隆(原宋熙)、临庆7郡，分属广州、湘州。
隋开皇九年（589），废郡，撤销新招、乐成、化成3县并入四会县。大业三年（607），复置南海郡。四会县与化蒙县同属于南海郡。
唐武德五年（622），以四会、化蒙三县地置南绥州。并复置新招、化注（原称乐成）、化穆（原称化成）3县，同隶于州。龙朔元年（661），佛教禅宗六祖惠能来四会，在扶卢山（信大南山北麓）藏匿于猎人队伍15年。
北宋 熙宁六年（1073），四会割属端州（后改肇庆府）。
北宋政和元年(公元年)，怀集县隶广州。元至元十七年(公元1280年)改肇庆府为肇庆路，置总管府，隶广西道（二十九年改隶广东道）。至顺元年(公元1330年)，高要县、四会县隶肇庆路 。
明洪武八年（1375年），在县治东建分巡岭西道行署。永乐十五年（1417年）冬，大雪。
嘉靖三十八年（1559年）朝廷平大小罗山瑶民暴动后由四会析出置广宁县。
清初沿明制。肇庆府为广肇罗道治所，隶广东省。顺治六年(公元1649年)置开平县；雍正九年(公元1731年)置鹤山县，时肇庆府领德庆州及高要、四会、新兴、高明、广宁、开平、鹤山、封川、开建、阳江、阳春、恩平等12县
民国九年 是年秋，取消县以下的都、铺行政区划制，改用区、乡（镇）建制。
在1952年和1958年间，四会曾与广宁县合并过，合并后称广四县。
1954年和1961年两次分设，四会县分别属粤中区行政专员公署和肇庆地区专员公署。
1993年11月25日，四会撤县设市。
