唐京兆（治今陕西西安人），先世为辽东襄平（今辽宁辽阳）。字长源，玄宗时为东宫供奉。为杨国忠所忌，被贬，乃隐居山中。至德元载（756），至灵武（今宁夏灵武南），谒见肃宗，陈天下所以成改之故遂执掌枢务，权在宰相之上，而固辞官职，仅称山人，旋以宦官李辅国谮，南隐衡山。代宗召为翰林学士，为元载所忌出为外官，德宗时一度为宰相，随时俯爷，政绩无足称。封邺候。好神仙道术，子李繁撰《邺候家传》，记其功业，语多不实。