唐绛州龙门（今山西河津）人。仁贵孙。其父楚玉，开元中为范阳节度使，以不称职而废。他生长燕蓟间，善骑射，在安禄山部下为将。后为史朝义守相州（今河南安阳）。宝应元年（762），以相、卫、邢等州降朝廷。次年，被任为相、卫等州节度使。大历初，封高平郡王，号其军为昭义。