秦始皇二十六年（公元前221年），析楚国置长沙郡，阳明山属长沙郡地。始皇时期（244-221年），绕阳明山地域边沿东南侧修“秦驰道”，宽五丈余，类今河道（旧志载）。
1983年沿“秦驰道”建成零（陵）宁（远）公路。
西汉武帝元鼎六年（公元前111年）置零陵郡，阳明山属零陵郡舂陵侯国（今宁远县）。据清光绪年间重刊的《阳明山·祖爷岩志》载：……《新开道路碑记》“永（州）有阳明山之白云寺，乃前朝东汉建立也……有十八真人烧丹炼汞，飞身腾空，地址尚存”。
东汉时这里已经建起了寺院白云寺，寺中住持是东汉献帝刘协(公元189-220年)派来的智安和尚。
相传，中国过去的寺庵道场，大多属于皇帝的个人行为。自秦始皇为保证他秦家世代为皇，大断天下“龙脉”开始，历代皇帝都深信“葬在龙头出天子，葬在龙身出宰相，葬在龙尾出状元”，大肆抢占天下名山，以防“真龙天子”出现，抢夺去他们的江山社稷。
白云寺位于阳明山主峰绝顶北侧2里许的白云峰山腰之上，海拔1500多米，这里山高僻远，林深壑幽，莫说香火，就是和尚吃的米和食盐也来之不易，因而当时白云寺中的僧徒来来去去一直不多，但历代皇帝一直保持这个寺院，据说和尚们食用的粮米油盐等物均由国库拨给，并定期派军兵用脚力肩挑送上山来，只因为这个地方的“龙脉”太旺盛了!
三国时期，初属蜀汉，后归东吴。孙皓宝鼎元年（公元226年）阳明山属零陵郡舂阳县，东晋穆帝永和年间（345-356年）改舂阳为舂陵。
南朝，梁武帝天监十四年(515年)，属零陵郡泉陵县。
隋代，文帝开皇九年（598年）改泉陵县为零陵县，改零陵郡为永州总管府，舂陵并入营道县，阳明山属永州总管府营道县。炀帝大业十三年（617年）萧铣割据建梁国，析营道县置梁兴县，阳明山属零陵郡梁兴县。
唐代，改梁兴县为唐兴、延唐两县，阳明山属零陵郡延唐县。
五代十国时期，先属马殷楚国，后属周行逢割据地，后晋改延唐为延熹县。阳明山在零陵郡延熹县内。
宋代改延熹为宁远县，阳明山属零陵郡宁远县，从唐朝起，阳明山白云寺开始兴旺起来，这里原本是神仙聚会的地方，而自东汉建寺以来，寺中一些道德深厚的和尚，不但炼就铸造了一口“响彻千里”的“南屏晚钟”，还得到了神仙的点化，大道功成，白日飞升，唐朝末至宋朝中期，这里出了“十八真人”!顿时轰动天下，成为当时的著名寺院，就在宋朝，和尚们又在阳明山绝顶之下的南侧，海拔1357米的花岗岩坡地上建一寺院，名日阳明山寺。又在阳明山建庵，原名“昭禅寺”（1515年后改为“歇马庵”）。
元代、永、道二州，改为永州路，道州路，阳明山隶属永州路宁远县。
明代，太祖洪武元年（1368年）改路为府，阳明山隶属永州府宁远县，正德年间（1510年），武宗皇帝朱厚燳的三女儿秀灵公主为逃婚，更为寻求不老仙方，来到阳明山昭禅寺“尽驱寺僧，歇马建庵”。凭借她是公主的威望，凭着“皇粮”生活无忧的优越条件，很快在歇马庵聚集起108名尼姑。
明朝嘉靖二年（1524年），有衡州明性和尚，号自空，俗姓唐，接管阳明山寺做住持，为的是剃度郑秀峰，明嘉靖六年（1528年），郑秀峰年十六，由领临济宗旨，取名真聪，号秀峰，剃度为僧。明嘉靖二十九年（1551年），郑秀峰闭关坐化，三十一年八月十五日明藩南渭王派孙菊波与永邑文人蒋湘崖来阳明山祖爷庵启关谛视，见其宛然如生，发爪尤长，遂顶礼拜伏，相扶披剃，衣履庄严，涅槃端坐，告之于南渭王。明藩南渭王知道之后，钦佩郑秀峰生前的刻苦和高风亮节，更是颂扬郑秀峰的“以身示世”，于是飞马报奏嘉靖皇上，嘉靖世宗皇帝闻奏后，很是感动，“遂崇其号日七祖，临济正派，改寺名为万寿寺，”又赐“名山千古仰，活佛万家朝”寺联；南渭王又将“东抵黄江岸，西界狮子岭，南极三江口，北至禹龙岐，划属国山，永奉香火，免供民赋焉”。从此，阳明山寺更名万寿寺。这时整个阳明山共有9庵(寺)18殿。和尚僧徒与尼姑僧徒达几百人之众。同时鱼目混珠，奸尻是藏。明末，这里曾设垌官48员，分区治理，阳明山的垌官工作地设在上流垌。
前清取消峒官制度，专设永桂理瑶军民府于上流峒，阳明山属永桂理瑶军民府所辖，
隶属永州府宁远县。
民国3年（1914年）废府属衡阳道。
民国27年（1938年）湖南划分为十个行政督察区，阳明山隶属第七行政督察区。
