唐曹州离狐（今山东东明东北）人，字懋功。本姓徐，名世勣。归唐后赐姓李，太宗死后避讳，单名勣。家多僮仆，十七岁参加瓦岗军。李密败后，以所统李密旧地归唐。密叛唐被杀，他表请收葬。从李世民破王世充、窦建德、刘黑闵等。又从李孝恭、李靖，破辅公祜，定江南之地。贞观三年（629），为行军总管，受李靖节度，击败东突厥。后守并州，封英国公。十八年，从太宗进兵辽东。次年，取辽东等城。高宗即位，加开府仪同三司，同中书门下，参掌机密。高宗废王皇后，立武皇后，他诿称此系陛下家事，不必问外人。乾封元年（666）末，为辽东道行宫大总管，总章元年（668）灭高丽。