宋神宗元丰五年,北宋文豪苏东坡途经此地,有感于十里桃花,流下了“花发颜如醉,风吹面不寒”的千古绝句。后邑人沈明亦有《咏桃驿》诗:“春暖桃花驿,人耕红杏村。戌楼当寺静,涧水过桥浑。雨歇莺迁树,烟销客断魂。承平经百战,闲却几烽墩“。斗山铺便得名”桃花驿“。
明朝中期,有富户杨延松,豪爽好客,急人之急,修义仓,置义馆,办义学,建义桥,立义冢,凿义井,深受人民敬服,知府宋越为其挂匾,翰林王廷陈为其作《六义记》,江西参议茅坤为其立传。加之居民杨姓人口日渐增多,人称杨家店后简称杨店至今。据《孝感县志》载:自明朝以后,仅驿馆重建就达三次。
清顺治十七年(1660年)七月,孝感知府张擢士重建斗山公馆,在东门修谯楼,设巡检司衙门,建大戏楼。时已有东、西、正、中、北五条街道,镇周围筑有护城墙,立有胜利门(东)、道和门(南)、朝阳门(中)、承恩门(北)、长乐门(西)五门,商业、服务业、手工业都很发达。太平军攻克杨店时,护城墙和驿馆被毁。
民国二十九年(1940年),日寇入侵加上土匪蹂躏,大戏楼被毁,当时四根大柱不倒,人称“虎死不倒地”,同时被毁的还有护国寺。