唐太原祁县（今山西祁县东南）人，家居华州郑县（今陕西华县）。本名训。九岁时因父海宾战死，刚名，养于宫中，与忠王（后为太子，即肃宗）游。长成后为将有功。开元二十九年（741）任朔方节度使。天宝四载（745），兼河东节度使。次年，为河西、陇右节度使，兼知朔方、河东事。六载，辞所兼两镇。旋以不愿出兵攻吐蕃石堡城，触玄宗怒。李林甫恐其入相，乘机诬以谋拥兵奉太子为帝。入朝受审，险被处死。幸得部将哥舒翰力陈其冤，始得贬为汉阳太守。