寺院坐北朝南,东、西、南三面临崖,由东西向并列的两座院落组成,占地面积6160平方米。东院中轴线上建有山门、过殿、大雄宝殿;两侧为钟、鼓楼、毗卢殿、十王殿、崇宁殿、伽蓝殿、随喜殿。西院中轴线上依次为藏经殿、后佛殿、玄天殿;两侧为膳房、僧舍等。
大雄宝殿为寺内主殿,立于高1.4米的台基之上,面阔五间,进深六椽,单檐歇山顶。檐下斗栱五铺作双下昂,殿内后檐减去金柱两根,四椽栿前端分置于内额与丁栿上,梁架结构规整,为四椽栿对后乳栿通檐用三柱。为典型宋金规制。
毗卢殿坐落在高大的砖砌台基上,面宽五间,进深三间,单檐歇山顶。明次间辟隔扇门,稍间置直棂窗。殿内柱网布局采用减柱造,扩大了室内空间。檐下斗栱五铺作,单抄单下昂。梁架为草栿做法,元代特征显著。
东轴线西侧,毗卢殿、十王殿、崇宁殿(关帝殿)、伽兰殿,均为元代遗构。
藏经殿为西院主殿,面宽三间,进深三间,单檐悬山顶。玄天殿为二层砖木结构建筑,下层为三孔窑洞,上层为木构阁楼,面宽三间,进深二间,悬山筒板瓦顶,前檐为廊,周设栏板、望柱,殿内存佛像5尊,与建筑同为明代作品。
香严寺内集金、元、明三朝建筑为一体,建筑特征有着明显的对比性。寺内建筑的琉璃饰件,造型色釉均佳,其中四座大殿的黑釉琉璃制品,色泽、烧造尤精,均为稀有作品。
寺内现存元碑2通,明碑3通,清碑6通,民国碑l通,经幢1座,均有重要的历史价值。