南朝梁庐江沤县（今安徽霍山东北）人，字子皙。祖何尚之，为宋司空。父铄有疾，无故害妻，犯罪死；他时年十一，感此家祸，遂绝婚宦，立志隐逸。时号“游侠处士”。宋、齐、梁累征不就。信佛，好文学，与孔稚珪等游，曾识拔丘迟、江淹。与兄求、弟胤皆当世名隐，人称“何氏三高”。