岳庙原为智果寺，又称鄂王庙、忠烈庙，祀宋少保鄂国忠武王岳飞。宋《朝野遗记》：“岳飞薨于狱，临安义士隗顺痛飞冤，潜飞尸，逾城葬于九曲丛祠。飞素佩一玉环，顺仍置之腰下，树双桔以志。将终，谓其子曰：‘异日朝廷必求改葬，汝可告之。”’清《忠烈庙志》：“绍兴三十二年六月，孝宗即位，昭雪冤案，追复官爵，悬钱五百缗为赏，寻飞遗体。顺子始白其事，乃起枯骨于九泉之下，以‘孤仪’敕葬于西湖栖霞之阳，即今墓也。是年，赐北山显明寺为其功德院。嘉定四年，追封鄂王。后因显明寺与太傅仪王仲浞安槽有妨碍，十四年别令改北山智果观音寺为祠，赐额‘褒忠衍福禅寺’。”明《万历钱塘县志》：“褒忠衍福寺有岳飞像，及其五子附也，后作寝堂，像岳飞与夫人与其女。宋亡，庙废，岳飞六世孙士迪重建，未几复废。”《岳庙志略》：“元至元六年杭州李全初重兴复之。”除庙门、正殿、后堂外，增修两庑。正殿祀岳飞，右庑祀岳云，左庑祀张宪，后堂祀岳飞父母与五子、五媳，均有塑像。《万历钱塘县志》：“至正中，加额‘保义”’。《岳庙志略》：“明洪武四年，正祀典即寺址复建。天顺元年，杭州府同知马伟重修祠墓，奏请朝廷赐春秋祭祀及‘忠烈庙’额。马伟取桧树折杆为二，植墓前，名‘分尸桧’。弘治十五年，太监麦秀重修岳飞寝殿，并由赵宽书刻《满江红》词，碑阴作跋，置于庑下。正德八年，都指挥李隆以铜浇铸秦桧、王氏、万俟卨3像，赤身反翦，跪于墓门。十二年，镇守太监王堂复塑岳飞夫人及子女像于后寝殿，制匾称‘一门忠孝’。嘉靖十四年，巡按御史张景在墓前照壁刻‘尽忠报国’四字，参政洪珠书。二十七年，总督都御史胡宗宪又重修庙墓。万历二十二年，按察副使范涞重铸跪像，以铁代铜，并增张俊像。” 《忠烈庙志》：“清顺治八年，巡抚御史范承谟捐金重修。康熙二十一年，殿宇倾圮，两淮转运使罗文瑜重建。三十四年，杭州知府李铎重修。雍正九年总督李卫重修，并建石坊于祠前甬道，题曰‘碧血丹心’。乾隆二十二年，修碑廊，陈列碑刻71石。嘉庆五年，浙江巡抚阮元建精忠柏亭，置古柏化石8枚。咸丰十一年，庙毁。同治四年布政使蒋益澧重葺庙宇，又铸跪像。”光绪二十三年(1897年)，岳王庙甬道前有石坊，门厅右角为精忠柏亭，正殿(又名忠烈祠)居中为岳飞像，捧笏端坐。东庑为烈文侯张宪祠，西庑为辅文侯牛皋祠。殿前月台上置大铁鼎，庙右为启忠祠，列岳飞父母座像，侧为岳飞夫妇像。祠东庑为五侯祠，祀岳云、岳雷、岳霖、岳震、岳霆五子及孙岳珂；西庑为五夫人祠，祀巩氏、温氏(一说赵氏)、陈氏(一说钮氏)、刘氏(一说周氏)、萧氏(一说李氏)五媳及女银屏。陵墓在庙的西南。民国10年(1921年)，皖督倪嗣冲、浙督杨善德、督军卢永祥共同发起，募款20余万银圆再建。20年，组成岳庙管理委员会，张载阳任主席。22年，再次修葺，由岳飞后裔掌管庙宇香火。抗日战争胜利后，浙江省政府决定由杭州市政府派工修复日军占领期间毁坏的岳庙房屋、围墙，以及其他失修的建筑，共用去旧币1亿元。36年，浙江省政府再次拨旧币2200万元，杭州市政府拨款旧币3000万元，民间募款旧币2800万元修理，另由上海友声旅行团负责捐修启忠祠。
中华人民共和国成立后，岳飞墓庙得到认真保护维修，供人参观瞻仰。在“文化大革命”期间，庙墓破坏严重，墓园碑廊一度作为阶级教育展览馆。1979年，国家拨专款重新修建，历时三载，花费人力5．6万工，人民币40万元。修建后的岳王庙，庙两侧为赭黄色围墙，石朱柱红门。门楼重檐上挂龙凤蟠饰“岳王庙”鎏金直式匾额。门柱上黑底金字楹联草书《满江红》词“三十功名尘与土，八千里路云和月”，为张爱萍题书。入门为青石甬道，正面正殿檐间挂“心昭天日”巨匾，为叶剑英题书。殿正中岳飞座像，高4．54米，塑像红缨帅盔，金甲紫袍，足履武靴，右手握拳，左手按剑，眉峰似蹙，双目凝神。座像上端横匾，为岳飞手书“还我河山”四字。殿两壁为明洪珠所书“尽忠报国”四字。殿顶天花板上为彩绘284只白鹤的《百鹤图》。殿内新制匾额、楹联，均系国内现代书法家启功、王蘧常、沙孟海、赵朴初、舒同诸人手笔。1981年，殿两壁添加‘勤奋学习”、“岳母刺字”、“收复建康”、“连结河朔”、“还我河山”、“郾城大捷”、“被迫班师”、“风波冤狱”8幅大型彩绘壁画。殿两侧，东庑列张宪像，西庑列牛皋像。殿西面墙上嵌有冯玉祥在民国25年(1936年)题的“民族英雄”四字。西侧贴墙为精忠柏亭。启忠祠及两庑，1984年10月辟为“岳飞史迹陈列馆”。祠前庭院西为“正气轩”，东为“南枝巢”。岳庙陵园东照壁刻有“尽忠报国”四字。南北两碑廊陈列历代碑刻126石。北廊有岳飞画像，岳飞手书《送紫岩张先生北伐》诗、《满江红》词、《前出师表》、《后出师表》以及奏稿、书札等。南廊是历代凭吊岳飞墓庙的诗词、祭文及重修岳庙碑记。碑廊中还陈列着1979年修建时从墓地一侧地下发掘出的南宋石翁仲一具。
1961年3月4日，国务院公布岳飞墓为全国重点文物保护单位。
