雍正元年(1723年)升礼部尚书，次年转户部尚书，翰林院掌院学士，国史馆总裁，太子太保。

三年(1725年)，署大学士事。四年(1726年)，晋文渊阁大学士、户部尚书、翰林院掌院学士，并兼充康熙实录总裁官。

六年(1728年)，转保和殿大学士兼吏部尚书。

七年(1729年)，加少保衔。同年，因西北用兵，设军机房於隆宗门内，与怡亲王允祥、大学士蒋廷锡董其事。雍正皇帝临终，命其与鄂尔泰并为顾命大臣。乾隆朝，以两朝元老为朝廷所重，死后配享太庙。终清一代，汉大臣配享太庙者惟张廷玉一人。

张廷玉在任期间的主要工作在于担任皇帝的秘书，对清廷政治制度的贡献是完善了奏摺制度与军机处的运作规则。与其他直接处理政务的大臣不同，历史上并没有留下太多关于张廷玉的具体事迹。

张廷玉为人谨小慎微，谨守「万言万当，不如一默」(清：黄山谷言)。故雍正赞扬他「器量纯全，抒诚供职」称其为「大臣中第一宣力者」。