主体结构建于1374年（明洪武七年），是一座由宋元向明清过渡的代表建筑，系我国现存明代楼阁中最大的一座。它在形式上承袭了宋元楼阁遗制，在结构上继承了唐宋传统。光岳楼由楼基和主楼两部分组成，总高33米。楼基为砖石砌成的方形高台，占地面积1236平方米，边长34.5米，向上渐有收分，垂直高度9米，由交叉相通的4个圆拱门和直通主楼50多级台阶组成。主楼为木结构，4层5间，歇山十字脊顶，四面斗拱飞檐，且有回廊相通。全楼有112个台阶、192根金柱、200余斗拱。楼内匾、联、题、刻琳琅满目，块块题咏刻石精工镶嵌，尤以清康熙御笔‘神光钟瑛’碑，乾隆诗刻，清状元傅以渐、邓钟岳手迹，郭沫若、丰子恺匾额、楹联至为珍贵。