汉武帝建元五年(前136年),刘定薨,山阳国除为郡。
元朔三年(前126年),鲁王子侯国瑕丘、宁阳来属。
天汉四年(前97年),封皇子刘髆为昌邑王,以山阳郡置昌邑国,瑕丘、宁阳别属大河郡。属兖州刺史部。
汉昭帝元平元年(前74年),昌邑国除为山阳郡。
甘露二年(前52年),改大河郡为东平国,瑕丘侯国别属山阳郡。
建昭五年(前34年),徙济阳王刘康为山阳王,复置山阳国。后废为山阳郡。
王莽新朝时期(公元8年-公元23年),改山阳郡为巨野郡,以巨野县城为治所。
东汉初,山阳郡为刘永所据。
建武十五年(39年),封皇子刘荆为山阳公,十七年晋爵为山阳王。
永平元年(58年),徙刘荆为广陵王,山阳国除为郡。
建安十七年(212年),封皇子刘懿为山阳王。
黄初元年(220年),魏受禅,山阳国除为郡。封汉献帝为山阳公。
晋泰始元年(265年),以山阳郡置高平国,仍治昌邑县。
南朝宋、北魏置高平郡,移治高平县(县治在今山东省邹城市西南的巨野县一带)。
隋初,郡废。
。