西汉初沛县（今属江苏）人。少时织薄曲（蚕具）为生，并充当丧事中吹箫的乐人。秦末从刘邦起义，以功为将军，封绛侯。汉初又从刘邦平定韩王信、陈希和卢绾的叛乱。刘邦认为他“厚重少文，然安刘氏者必勃也”。惠帝时，任太尉。吕后死，他与陈平定计，入北军号召将士拥护刘氏，诛杀吕产、吕禄等入，迎立文帝，任右丞相。