公元1672年 ，清康熙11年九月初九，翰林学士张英的次子出生，取名张廷玉。康熙三十六年（1697年），已经26岁的张廷玉准备参加会试 ，但恰逢其父张英奉命为总考官，故而回避不试。康熙38年（1699年），张廷玉是张廷玉喜忧参半的一年。喜者，父亲张英荣登大清相位；忧者，结发之妻姚氏因病离世。
到了康熙39年（1700年） ，张廷玉考中进士，散馆为翰林院庶吉士 。因为他老爸张英的关系，28岁考中进士后的张廷玉，很快就进入了康熙的视野。康熙42年（1703年） ，张廷玉被授翰林院检讨。开始担任《亲征平定朔北略》的纂修官。康熙43年（1704年）四月 ，张廷玉入值南书房。
康熙很看好张家这个次子，在工作之余，经常跟他聊天。有一次，两人竟不眠不休，说了整整一夜，张廷玉给康熙留下了很深的印象 。在那次交谈之后，康熙对张廷玉的了解更加深入 。张廷玉的父亲退休以后，康熙帝时常把张廷玉召至畅春园 ，询问其父居家近况。
康熙四十四年（1705年）后 ，多次随康熙南巡及巡行蒙古诸部。康熙四十七年（1708年），张家连遭变故——六月，张廷玉母亲离世；九月，父亲张英离世 。张廷玉回老家 ，守孝三年。
康熙五十一年（1712年）二月 ，充会试同考官。四月，授司经局冼马兼翰林院修撰 。康熙55年（1716年），授内阁学士兼礼部侍郎。康熙56年（1717年）十二月，充经筵讲官。康熙57年（1718年）十月，充武英殿试读卷官，十一月，充纂修《省方盛典》副总裁官 。
康熙五十九年（1720年）五月，授刑部左侍郎。次年授吏部左侍郎，兼翰林院士。康熙六十年（1721年）二月，身任刑部右侍郎的张廷玉奉旨 ，与都统耗赖等赴山东稳妥地处理了盐贩王美公等「聚众劫掠屯庄」案。六月，调吏部左侍郎。他秉公办事，从不收受贿赂 。这在康熙后期的官场，绝对是一股清流。不贪污受贿，虽然生活艰苦一点，但恐怕，这也是他能很快受即将继位的雍正皇帝的青睐的一大因素。
不久，到了康熙61年（1722年）。当年十一月 ，康熙帝驾崩于畅春园 ，皇四子胤禛入承大统。张廷玉很快成为雍正的主要助手之一 。
虽然张廷玉从事的主要工作，只是文字方面的，用现在的话说，就是个秘书 。但，是皇帝的秘书 ，而且是皇帝的高级秘书。他「周敏勤慎」 ，把全部精力都投入到看似琐碎的工作上来。据说，他在上下朝、来回的轿子里，还在处理公文。回到家里，也是沉浸在工作中，想好各种事情的处理方案，以便明天能给皇帝提供更好的决策。因此，很受康熙的赏识。尤其是到了雍正朝 ，雍正皇帝对张廷玉的宠信和倚重，简直到了无以复加的程度。
雍正五年（1727年），张廷玉生了一场小病，雍正便对近侍说：「朕的胳膊疼了好几天。」众臣纷纷惊问缘由，并争先恐后上前请安。雍正笑着说：「大学士张廷玉生了病，岂不是朕的股肱不舒服吗？」
雍正对张廷玉可谓宠爱备至，优赏有加。雍正知道张廷玉爱喝茶，便将进贡的极品茶叶赏赐于他，所赐给的茶具也是万里挑一。在雍正统治的13年中，曾6次赏赐金帛给张廷玉，每次数量都很大，数以万计。
张廷玉基本上不为亲朋好友开后门，兢兢业业工作。雍正皇帝也知道，所以经常会赏赐财物，让他补贴家用。到了后来，甚至直接给了张廷玉一个当铺。可是，张廷玉很有分寸 ，每次雍正赏赐时，都极力推辞。有一次，雍正一下赏赐白银两万两 ，张廷玉说数量太多，万万不敢收下 。雍正一脸正色道 ：「汝非大臣中第一宣力者乎？当体朕心，不必再辞 。」命令要张廷玉，一定收下。
在清人笔记小说《啸亭续录》中，记载了一个小故事，从中也可看出雍正对张廷玉的宠信了。清朝的皇帝，在处理政务之余，常常戴一种镶有红宝石的红绒结顶帽子，皇子皇孙则作为礼服穿戴 ，以显示其尊贵 。只要是亲王贝勒得了赏，也可以穿戴出来。其他的满洲贵族、汉大臣也有机会得到 ，但没人敢戴出来，只能放在家里供着，以示敬重 。只有张廷玉，得到了雍正的特许，可以在每年元旦戴上 ，满朝文武，无不羡慕。
雍正十一年（1746年） ，张廷玉告假回乡祭祖 。动身的前一天，雍正赐予张廷玉一件玉如意，祝他「往来事事如意」。同时 ，雍正还赏赐了许多财物及内府所藏书籍52种 。其中，《古今图书集成》一共仅刊印了64部，却赐给了张廷玉2部。
雍正曾赐给张廷玉一副对联：「天恩春浩荡，文治日光华。」后来 ，每逢过年，张廷玉便贴上这副对联，前来拜年的各级官员，歆羡不已。
雍正13年 ，雍正帝驾崩前，命张廷玉、鄂尔泰等为顾命大臣。后来，从正大光明牌匾后面取出秘密建储诏书、宣布皇四子弘历继帝位的，不是别人，正是张廷玉 。
之后 ，雍正又专发诏书，说两朝老臣张廷玉「器量纯全，抒诚供职」，死后可配享太庙。换句话说 ，张廷玉死后可以将牌位安放在大清朝的太庙 ，接受后来皇帝的祭祀。这在当时的清朝近百年的历史上，汉臣里是绝无仅有的。可见，这是一项多么崇高的政治荣誉。
现在我们知道，不仅是清前期，整个清王朝的历史上 ，得此殊荣的汉大臣，也只此一家。虽然 ，在此之前，于此之后，有很多汉族名臣，如于成龙、陈廷敬、刘统勋，包括「中兴名臣」曾国藩、李鸿章、左宗棠等，他们的声望也很高，但他们都没有享受这个待遇。