唐齐州临淄（今山东淄博东北）人。少时无赖，屡犯法。隋末客居太原，为李世民所识，遂从李渊父子起兵。潼关之战，中箭不退，击败屈突通。后从世民讨王世充，破窦建德，迁秦王府右二护军。世民即位，累迁左骁卫大将军，封樊国公，改褒国公。