唐越州余姚（今属浙江）人，字伯施。与兄世基同为顾野王弟子。陈亡，与世基入隋，时人拟为晋之二陆（陆机、陆云）。大业中为秘书郎。入唐，官至秘书监，封永兴县子，人称虞永兴。论议持正，贞观时颇多谏诤。能文辞，工书法，亲承王羲之七代孙僧智就传授，继承二王（羲之、献之）笔致，外柔内刚，贺融遒丽，与欧阳询、褚遂良、薛稷并称唐初四大书家。正书碑刻有《孔子庙堂碑》。编有《北堂书钞》。