太子黯然回到东宫，冯保哄了他好一会服侍他睡下，转身匆匆寻到潘晟府中。潘晟此次北上就职，并没有带家眷，只带了几个老仆，这时便见宅院中正在翻箱倒笼，打包行李。冯保心中一沉，跟着仆人进到潘晟书房，见潘晟坐在案前发呆，面前是一张己经写满的奏章稿纸，一看便是辞呈。他见冯保进来，带着一丝苦笑上前拱手道：“有愧所托。”
冯保扶住他连连叹气：“是我连累了先生才是，太子听说先生被弹劾，好生难过，方才还去乾清宫为先生求情了。”
潘晟闻言眼眶红了一红，向着东宫方向拜了一拜：“得英才而育原是人生至乐，可惜我与太子缘浅。“冯保摇头道：“先生何必如此轻易放弃？我可以让太子去贵妃跟前哭诉一阵，回头先生写个辩章递上去，皇上批了，此事也就罢了。”
潘晟摇头道：“有高新郑在，恐怕容不得我恋栈不去，便是这一次皇上不批，他三头两头挑事，老夫赔尽了颜面，受够了气，照样要被他撵走。你想想前几年内阁诸相，除了张太岳能得他青眼以外，还有谁可以留在阁中？”
冯保回想了一下，潘晟虽然有些跳脱，但性情较为恬淡，并没有强烈的争强求胜之心，与李春芳陈以勤等人相近，他们若是弃职而走，潘晟确实也无法久任。冯保不由想着张居正平日里也不知吃了高拱多少冤枉气，也不知是怎么忍下来的。他也只能叹了口气道：“那我也不强留你了，你回南直隶休养两年，将来……总有请你回来的一日。”
潘晟若有所思地看了冯保一眼，似乎觉得“将来”两字大有深意，他正想追问什么，老仆又来通禀，说张居正和徐杲前来求见。潘晟将他们请入，冯保一见徐杲，有些吃惊，从前徐杲虽然木讷了些，但眼神专注犀利，透着股谁也不服的劲头。现在他满面枯槁，似乎成了个风烛残年的老头。潘晟诧异问道：“你们是一起来的？”
徐杲深施一礼道：“是我去求见张阁部，想让请他帮我一家销了匠籍，放我全家一条生路。”
张居正叹道：“徐大匠深觉拖累了水濂先生，于心不安，所以来托我这桩事，我劝他不过，只好带他过来与先生一叙，没料到永亭也在这里。”
世宗驾崩后，他晚年所宠信的身边人全都被清算，那些方士之流也不去说他了，徐杲因为领了工部尚书衔，一直被朝臣们视作眼中钉一般，全都不忿自己要与匠人同朝为官。徐阶虽然曾经倚靠徐杲和蓝道行这些人扳倒严家，但他正是清算嘉靖朝的首脑呢，自然不便保护他们。徐杲被弹劾去职，还吃了好久的官司，还是众人帮他周旋，才勉强放了出来。徐杲是顺天府的匠户，虽然没了职份，却还要应付工部的差役，工部那些正途出生的官们，当初不得不奉承徐杲，心中深以为耻，如今便换着方儿折腾徐杲一家子，不给他们一日休息，过得苦不堪言。潘季驯虽然托人照应过，但是一来他现在在河道上，鞭长莫及，二来他自己就和深得高拱信任的朱衡见解相左，说话也不是很管用。工部在籍匠人派役是正经差事，他总不能细到干涉工部派差事的多少。徐杲不善言辞，也没有为自己的事上门去求过张居正。潘晟爱好庞杂，早听张居正等人说过徐杲素有巧思，与他往来了两次，没料到就成了把柄。徐杲一来愧疚，二来想想从今往后，怕是再也没人敢给自己家说句话，这才鼓起勇气登了张居正的门，请求帮忙转成民户。张居正听了心中却是犯难，若是寻常匠户想转籍，他去工部说个情倒也罢了，徐杲一家名气太大众所睹目，他代为疏通转眼就必有人告到高拱那里去。更紧要的是，京里一年不知有多少宫室要修造，除了徐杲张居正还真不放心别人。张居正劝了徐杲很久，徐杲自然说不过他，但最后木着脸一言不发，张居正只好带了他来见潘晟，希望潘晟劝解一二。潘晟慨叹道：“徐大匠之才若是就此埋没，委实是朝廷的一大损失，然而朝廷即视徐大匠为贱役，徐大匠又为什么一定要为朝廷效力呢？孟子曰：君之视臣如土芥，则臣视君如寇仇。叔大啊，你身为次辅，解决不了赋役不均的弊情，又有什么资格劝说徐杲留下呢？”
“叔大他……”冯保忍不住要为张居正开口辩解。张居正却拦住他，满面愧色道：“徐家现在派役过多的情形，其实在各项差役上都有，只要小吏有意刁难，多派几个差役，便足以让中产之家家破人亡。国家兴工召役，向来没个定数，应役之家却不能凭空多变出人来。我因此一心想推行条鞭法，将所有赋役折算成银两，再有工役，便由太仓库拨银按市价雇工来做。徐大匠若是忍得一两年，待条鞭法实行起来，便不必再受工部的闲气了。”
潘晟道：“改税朝中反对的人不会少，你可想清楚了？”
张居正毅然道：“平均税役是如今天下症结所在，居正便是粉身碎骨，破家灭族，也一定要做成！”
徐杲自出生便沉溺在营造手艺上，改籍之后，不能做这一行，心中何尝没有恋栈，沉吟良久，抬头毅然道：“张阁部即有这个决心，我便在京中再苦熬些年罢！”
冯保道：“你啊，就是太木讷了，这些事你早该来找我。他们这些人忌惮着自家清贵名声，不敢与你结交，我却不必管这些。以后但凡有无理的派差，你尽管来找我，我跟内官监的监正还有些交情，托他给工部递个话，工部总要承情一二的。”
徐杲听了，果然露出一丝笑容来，再三拜谢。张居正进来的路上也看到了潘晟府中情形，他叹了口气道：“先生这是去意已定？”
潘晟点头道：“你如今也有诸事难以自主，便不必再挽留我了。”
张居正这几天其实明里暗里向高拱游说过多次，都被高拱断然否决，张居正也知道便是硬劝潘晟留下来，他也没好日子过，只好苦笑一揖道：“当初是我起意将先生调入京来，却是让先生受苦了。”
潘晟洒然一笑道：“我的去留无关紧要，只不过接下来礼部尚书要委于何人，你要怎么和高新郑继续共事，才值得好生思量啊。”