俺答退去后，政局稍稳，徐阶继续盯着隆庆皇帝游幸用度委任内官这类事喋喋不休，到了隆庆二年，皇帝再好脾气，也有些不耐烦了。类似“你说朕这也不对那也不对，不如什么都你说了算好了。”
之类的批语屡次出现。便有不少并非徐阶派系的言官看准机会，开始迎合上意，上奏弹劾徐阶。起先徐阶还没当一回事，但皇帝虽然照例慰留，明眼人一看就知道用辞十分敷衍。这下心向高拱的、对徐阶不满的言官全都蠢蠢欲动。终于有人上了一封奏章，重点却放在徐阶在嘉靖未年，迎合嘉靖皇帝翻修万寿宫，进献方士，与严嵩联姻这些事情上面。其中一句“为人臣不忠，与人交不信。”
当真是掐到了徐阶内心最煎熬的地方。徐阶看到这封弹章时手足颤栗，折子落地，当即封还阁印，回府候旨。首辅被弹劾后回府待罪，通常只是一个虚心接受批评的表态，皇帝如果对首辅没有大意见，马上就会慰留召回，同时斥责上奏章的官员。但徐阶离开内阁时的状态，所有人都知道，他确实受到了重大打击，无心继续理政了。近来弹劾徐阶的奏章说起来不少，但大部分集中在徐阶在内阁作威作福，对皇帝不恭敬，施政不得力之类的事情上面，对徐阶来说有点不关痛痒。他是真心觉得自己现在这种对下放任自流，对上严究德行的做法是完全正确的。然而嘉靖朝的旧账一被翻出来，他就受不了了，那几年他做了许多违心的事，尤其联姻一事，至今是他心中隐痛。他原本还隐约有些牺牲自己成就大功的骄傲，现在有人揪出这一点来批判他，对他来说不啻于一生的荣耀都被玷污了。徐阶回府待命，李春芳身为次辅暂代其职，他给这份奏疏写的票拟自然是严辞批驳，请求皇帝从重处罚。但这封奏疏送进司礼监后，却迟迟没有批复。过了两天，徐阶终于意识到了什么。李春芳和张居正去徐府探望，几天不见，徐阶整个人如大病一场，老了十岁一般。李春芳劝慰道：“皇上是宽厚恋旧之主，亦是经历过先帝晚年间事的，何尝会为小人挑唆之言所动？老师不必忧心，静心将养数日，皇上自会慰留。”
徐阶微微是摇头：“我昨日梦到了馨儿。”
张居正眉头一皱，徐阶喃喃道：“是我对不起她……若是她要索我这条老命去，便由她罢了。”
徐璠侍立一旁，闻言打断他道：“爹，您这是伤心过头了，把御医开的安神方子多喝几付试试看吧。”
徐阶似乎对他的话充耳不闻，过了好一会方道：“我要和叔大说几句话，你们先出去吧。”
李春芳和徐璠略诧异，但还是行礼告退了。徐阶注目张居正道：“叔大啊，我几乎疑心那人是受你之命上的劾章，除了你又有谁能这么准地拿捏到我的痛处？”
张居正平静地拜了一拜：“老师应该知道，这件事于我，亦是毕生之痛。”
徐阶凝视了他片刻，重重皱褶之下只露出一丁点瞳光，让他显得格外悲凉又焦虑，张居正心中不由生出“英雄迟暮”这四个字来。他突然想到送严嵩出京的那日，严嵩笃定地说，自己必定不是徐阶的好学生。那时他尚不觉自己与徐阶会有什么不可调和的冲突，却不知严嵩是从哪里看出来？徐阶茫然道：“叔大以为，老夫身故之后，天下人会如何看我？”
张居正毫不犹豫，锵然道：“世宗乱政，严嵩阿从，皆赖老师从中调和，拨乱反正，方令天下保有一线生机，足以为万世之范。”
徐阶凝视他许久，又道：“嘉靖一朝首辅，几无善终者，叔大以为，老夫有这个福份吗？”
张居正这次略犹豫，又断然道：“先帝猜忌寡恩，今上宽厚仁善，时势不同，不可相提并论。学生虽然不能未卜先知，但有学生在朝一日，必竭尽所能，保老师晚年身名无忧。”
徐阶长叹了一声道：“众人皆知，老夫在诸门生里面，最看重你，虽然子实如今序位比你高，但老夫走之后，他难掌大局，多半会继而求去。将来内阁中能柄政的，非你莫属。有你这一句话，老夫庶几可以瞑目了。”
他的声音越来越小，张居正原本还在侧耳倾听，后来发现他已经闭目睡去，显然方才说了这一大段话，几乎熬尽了他的精力。张居正站在原地默想了一会，是不是人老精力衰退后，特别害怕握不住手中的一切，所以变得格外固执偏激？张居正自从步上仕途，徐阶始终是遮在他头上的一把伞，从今往后，他将要真正地走上自己的路了，再也没有人能为他遮挡明枪暗箭，也许过上许多年，他也会像现在的徐阶一样苍老无助。宫里隆庆皇帝这时本来看歌舞看得正兴起，见李芳和冯保两个进来，顿时脸拉得老长。李芳硬着头皮道：“皇上，徐阁老封印归家三天了，拖着不是个办法。”
皇帝撇了撇嘴：“让徐阁老多歇几天也好，省得他一天一个奏章来骂朕。”
冯保道：“皇上若是再拖下去，徐阁老就真的要辞官退隐了，您去岁时为了留住徐阁老，不惜劝高先生辞去，如今犯不着为了那些陈年旧事把徐阁老气出好歹来。”
皇帝沉默了一会，不提高拱时他还只是有些心烦，提到高拱他便有一股遏止不住的怒火冒出来。李芳瞥了一眼冯保，不由猜测冯保的用意。皇帝挥了挥手，摒退了歌舞，道：“去岁时，六部长官苦苦哀求朕说，徐阁老若辞官，国事将大乱，可徐阁老在朝，也没能预止俺答入侵劫掠。如今却又有这么多人上奏，指摘徐阁老治国无方，你们说，朕该听谁的？”
冯保道：“奴婢先前也不明所以，不过近来稍稍琢磨出一点味道来。去岁的时候，高先生与徐阁老不睦，便说徐阁老的《嘉靖遗诏》拟得不好，当时六部的官儿一小半是先帝时候被罢斥，皇上登基才起用的，自然要向着徐阁老一边，至于徐阁老若是辞相国事会不会大乱，这个……奴婢见识浅薄，不敢妄言。”