南朝宋高平金乡（今山东金乡北）人。世居京口（今江苏镇江）。东晋末从刘裕攻后秦，为前锋入洛阳。宋武帝临终，与徐羡之等同受顾命，亦参预废杀少帝之事。文帝立，仍被重用。元嘉八年（431）攻魏，粮尽退兵，全师而归。未几进司空，镇寻阳（今江西九江）。后文帝和彭城王刘义康以其诸子及心腹皆善战，忌而杀之。临死时曾言：“乃坏汝万里长城！”