唐京兆万年（今陕西西安）人。先世为滑州（今河南滑县东南）人，本姓丙。曾祖粲率部附李渊。因受赐姓。他少谨厚，任雍州司户，断太平公主与僧寺争碾硙案，据理判归僧寺。开元初，任万年县令，迁京兆尹，志以不畏权要闻名。十四年（726），为户部侍郎，条秦时政得失利害。次年，升为中书侍郎、同中书门下平章事。性清俭，既知政事，注意抑止奔竞之路。所居第宅及仆马器饰，并无更改。后与同僚杜暹意见常不相同，遂于十七年同时罢相。