战国时,先属费国、鲁国,后属齐国。
西汉以后,属兖州泰山郡。
598年(隋开皇十八年),属颛臾县。
627年(唐贞观元年),撤颛臾县并入费县,柏林亦入费县,此后历经五代十国、宋、元、明、清,至民国。
1896年(光绪二十二年),费县下设柏林社。
1928年8月,为费县四区柏林乡。
1940年6月,中共山东分局,以费县境内西部滋(阳)临(沂)公路线段为界,路北置费北县,属之。
1945年1月,新置费北县柏林区。
1946年1月,撤销费北县、费东县,合置蒙山县,为第三区柏林乡。
1952年3月,蒙山县撤消,柏林乡归平邑县,属十一区。
1955年11月1日,各区改为以驻地命名,十一区改固城区。
1958年冬,改新华公社。
1959年3月7日,改柏林公社,撤销元帅公社并入柏林公社。
1961年5月,改柏林区,辖武安、柏林、杨谢、孝义、固城等5处公社。
1971年4月20日,恢复柏林公社。撤销原区公社,改为生产管理区(简称管区),柏林公社增建花园管区。
1977年,柏林公社辖柏林、武安、杨谢、孝义、固城、花园等6处管区。
1984年4月15日,实行“政社分开”,改变人民公社、生产管理区体制,实行区乡建制;4月15日,改柏林区,辖柏林、宋合、固城、孝义等4个乡。
1985年8月31日,改柏林乡。
1993年7月1日,改柏林镇。
2012年2月8日,临沂市政府将该镇原有25个行政村中17个靠近蒙山的村划归临沂市蒙山管委会、另外8个地缘上不靠蒙山的村被划归温水镇,另将保太镇若干村庄划入,共计38行政村。