元未明初河中（治今山西永济）人，初名国珍，又名国玺。元未任韩林儿部御史。后投朱元璋，授九江知府兼指挥，更名玉。从傅友德克衡州（今湖南衡阳），以指挥同知镇其地。复调守永州（今湖南零陵）。洪武元年（1368），进都指挥使，寻兼行省参政，镇广西。七年，召为右御史大夫。十二年，转左御史大夫，旋拜大都督府左都督。后以胡惟庸案被杀。