西汉南阳杜衍（今河南南阳西南）人，字幼公。杜周之子。霍光秉政时，历任谏大夫、太仆右曹给事中，深得信任。霍光死，子霍禹等谋反伏诛，他以霍氏旧人被罢官。后数月，复被任为北地太守，后迁西河太守，复入为御史大夫。明法律，主张宽厚行事，论议持平。因别于其父杜周，史称“小杜”。