在他的一再要求下，乾隆十四年皇上终于准其原官致仕，张廷玉未能亲至谢恩，又因担心改变先皇遗命，不准其配享太庙，复“请一辞以为券”。用皇上的话来说，这就迹近“要挟”了！

张廷玉历事康熙、雍正、乾隆三朝，任职中枢，参予密勿，曾经雍正皇帝许诺，死后可以“配享太庙”，在清朝祖庙中获得一个陪祀的地位。在这之前，还没有一个汉人能享此“殊荣”。有，亦从张廷玉始。

皇上于盛怒之下，削去其伯爵名号。乾隆十五年，张廷玉更是动辄得咎，又被宣布罢免其身后配享。皇上甚至指斥他“在皇考时仅以缮写谕旨为职，此娴于文墨者所优为”；“朕之姑容，不过因其历任有年，如鼎彝古器，陈设座右而已”。极尽羞侮。

随即发生四川学政朱荃“匿丧赴任，贿买生童”，罢官回藉途中，投水自尽一案。朱荃为张廷玉儿女亲家，曾得到他和梁诗正、汪由敦等人的先后举荐和包庇，上谕：张廷玉若尚在任，朕必将伊革去大学士，交刑部严审治罪。经“传旨询问”后复遭罚款、追缴此前赐给一切御笔、书籍等物，并查抄其在京住宅。梁诗正则交部察议，汪由敦降为侍郎。张党受到重大打击。