刘秀很重视隐居山林、不仕王莽的士人。他认为这些人既熟悉典章制度，懂得治理国家；又情操高尚，不趋炎附势。所以就多方访求，重礼征聘。平帝时的高密令卓茂不仕王莽，刘秀征为太傅，名儒伏湛（zh鄋占）征为尚书。尚书的权力是很大的。