乾隆看了这个上奏勃然大怒，皇帝赏给臣子的荣耀，能不能兑现这是皇帝的事，从来没有哪个臣子敢要求皇帝以书面文本做出承诺，乾隆认为这是对君权的要挟，这是对皇帝的大不敬。
但乾隆还是忍住了这口怒气，如果他发作，正好坐实了外界流传自己不肯让张廷玉配享太庙的议论。而不让张廷玉配享太庙，却是对先皇雍正的忤逆，这又将会激起无数风波。
乾隆咽下了这口怒气，隐忍不发，他颁布了上谕，保证一定会让张廷玉配享太庙，又赐诗给张廷玉，云“先皇遗诏惟钦此，去国余恩或过之”，以让他安心。
乾隆给足了张廷玉面子，但张廷玉终究是老糊涂了。在皇帝做出了这么多让步与许诺之后，他竟然没有亲自到宫门口去谢恩，只是让儿子代自己前去谢恩。
得知张廷玉没有亲自来谢恩之后，乾隆勃然大怒，张廷玉大不敬在前，怠慢礼节在后。
乾隆严厉指责张廷玉：“张廷玉之罪，不在于不亲自谢恩，而在于请朕承诺。之所以让朕承诺，乃是不信朕。”“朕待群臣，事事推心置腹，而伊转不能信，忍为要挟之求。观其如此居心，其有不得罪于天地鬼神耶！”
至此，乾隆才流露出了真实想法，即张廷玉不配配享太庙。乾隆斥责道：“配享太庙的都是佐命元勋，立下赫赫战功，张廷玉有何功绩能与之比肩？张廷玉所擅长的不过是撰写谕旨。朕平心论之，张廷玉实在不当配享太庙，其配享实为过分。”
但张廷玉配享太庙的资格，是以雍正遗诏的形式公布天下。且在某种程度上，张廷玉已成为汉族臣子与满人和睦相处的象征，削去他配享太庙的资格会让汉人大臣寒心。故而在惩治张廷玉时，乾隆不得不有所收敛。在夺去张廷玉爵位之后，准许他以大学士身份退休，死后仍准配享太庙。
自从政以来，张廷玉从未受过如此打击，在京中已如惊弓之鸟，只想早日返乡养老。乾隆十五年，乾隆的长子永瑝去世，初祭完之后张廷玉就急着申请返乡。对一个高龄老翁来说，早日返乡，安度晚年，并无可非议之处。
张廷玉急匆匆地申请回乡养老。沉浸在丧子之痛中的乾隆顿时发作，大骂张廷玉：“张廷玉曾侍朕讲读，又曾做过定亲王的师傅，如此蓦然无情，还有人心吗？”接着又将张廷玉说得一文不值：“你当官这么多年，毫无建树，不过就是一个古董陈设而已。”
张廷玉配享太庙的资格又一次被提了出来。乾隆这次搬出老爹雍正来代言：假若皇考还活着，看到你张廷玉今天的行为，也要收回成命。你张廷玉不但得罪于朕，更是得罪了皇考在天之灵！
随后，张廷玉配享太庙资格被罢去。这还不够，乾隆又着手打击张氏势力。张廷玉的儿子张若澄，所娶妻子是四川学政朱荃的女儿。朱荃在四川任官期间，贪赃枉法，被人告发。乾隆抓住机会大做文章，打击张廷玉。乾隆打击张廷玉的理由，却是荒诞。
