南朝宋陈郡阳夏（今河南太康）人，名密，以字行。出身士族。与谢灵运等族兄弟随叔谢混居乌衣巷，时称“乌衣之游”。混被杀，他代叔母理产业，虽善经营而一介不取。对曾祖谢安、祖谢琰遗产亦无所争。宋文帝时，为黄门侍郎，与王华、王昙首等共掌机要，位至侍中。时人誉为名臣。