唐汴州尉氏（今属河南）人，字正则。隋末在丧乱中刻苦力学。唐初为陈仓尉。因杖杀横暴之军官，太宗欲加罪责，诘问后奇其赐正，升为栎阳丞。累迁给事中。高宗龙朔元年（661），为带方州刺史，领兵赴百济，会合新罗兵和战。次年，拔直岘城。又次年，破日本援军，留镇百济。曾痛陈有功不赏、戍兵困苦思归之状。乾封元年（666），升任左相。总章三年（670），任太子左庶子、同中书门下三品，监修国史。仪凤中，任洮河道行军镇守大使，防御吐蕃。武则天临朝时，复任宰相，专知留守事，曾劝则天当以汉吕后为鉴。封乐城郡公。