陈洪自己其实也托高拱在皇帝面前提过，想求海关提督的差事，但皇帝面露难色，显然他依然怯着李贵妃。陈洪本来也纳闷陈增为什么要托自己这个已经赋闲的人，不过他寻思了一会，模模糊糊地想起来一些事情，当初陈增是黄锦嫡亲的徒孙，极得重用，对待常在西苑当差的张宏和尚膳监的孟冲就很倨傲，不太将他们放在眼里，大大小小地起过些冲突。如今虽然年岁隔得久了，但陈增还是担心自己找上门去会直接吃个闭门羹。陈洪想着此人在宫中再无倚仗，自己若是给他寻条门路，便是日后难以驭使他为自己办事，眼下一份厚礼却必不可少。他的庄田产业并不少，但往日坐在家里每月就有好几万两银子往门口送的日子可一去不返，能有银钱入手总归是好的。这般想过后，陈洪便借了个由头去拜访了孟冲，跟他交待了一番。高拱努力游说了数日，但皇帝，许多朝臣，还有内庭全都不乐意将海关建成双重衙门，他徒劳无功，也只能回到内阁向张居正发发牢骚。“你说皇上想要海外珍物，内庭想从中过手沾油也都罢了，葛守礼那个老东西也死活反对，这又是为了什么？他不是也成天抱怨太仓库空虚吗？现在有不扰民又给国家增加税赋的好机会，他却死抱着那套说辞不改，心窍到底让什么泥巴给糊了？”
张居正笑了笑道：“肃卿太心切了，所以没看明白他到底在固执什么。葛老头怕是觉得，商人交实物给海关，尚可称之为朝贡，若是收现银，那才是明晃晃地征税了！”
高拱一拍脑门，悻悻道：“叔大真是一语惊醒梦中人。这群老顽固……”张居正道：“事已至此，就不要在此事上瞎磨功夫了，徐徐图之吧，只是海关提督这个职位，还得择一清廉端方的内监才好，要不虽是好事，也难免要多生波折。”
高拱顿时警慎地望了他一眼：“宦官们最为贪狡，心有顾忌，尚能收敛一二的已是少数，哪里有什么清廉端方的人选？”
他猜测张居正没会推荐冯保，一瞬间就想了七八个理由打算挡回去。张居正却道：“不然，原司礼监掌印李芳素来忠直，若是委派此人，我倒是很能放心。”
这一说高拱也犹豫起来，他对内庭素无好感，便是陈洪等人，在他看来也不是好掌控驭使罢了，但陈洪的品行他不是不清楚，真让陈洪去管海关，他自己心里都犯嘀咕。张宏相较之下稍好，但将张宏派远了，东厂又交谁来掌管呢？左思右想之下，竟没有其他更合用的人选，高拱想了想便道：“这位倒使得，只是当初他告老之时心意甚坚，不知能不能请得动他。”
张居正道：“若是皇上下了诏令，给足了他面子，也由不得他推三阻四。”
张居正没有以自己的名义推荐李芳，却先来游说高拱，是因为他不乐意让冯保离开京城，又怕惹恼了他，不敢明着上奏，只好绕了个弯儿，鼓动高拱去说。高拱觉得这话有理，于是在确定了开海禁后的常朝上，提出起用李芳来做首任海关提督。朝臣们私下向皇帝进言内官的任免倒也罢了，拿到朝堂上来评头论足，其实有失体统。不过皇帝向来没主见又懒散，高拱给他推荐人选，他很高兴，并不觉得被冒犯威严。但听到李芳他却还是很犹豫，他对李芳当初不辞而别的那桩事，依然耿耿于怀。皇帝犹豫了一会，瞥了眼高拱道：“李芳毕竟是当过司礼监掌印的老人，这个……让他降级去做海关提督，有些不太合适吧？此前孟冲提议了矿监陈增，倒似还可以。”
高拱隐约听说过陈增在滇缅边境开采宝石十分扰民，顿时拉长了脸：“这人的德行不行。”
皇帝有些为难，目光投向张居正。张居正心里叹了口气，皇帝但凡和高拱有了不合之时，总是指望自己出来当这个恶人。但李芳是他自己推荐的，他也不能装作没看到，不得不硬着头皮出来奏道：“李芳虽然沉稳老练，但毕竟年事已高，不如李芳为正，掌控大局，陈增为副，料理繁难，便万无一失了。”
皇帝没想到张居正也不帮着自己，大为失望，嘟嘟囔囔地总是不肯爽快应下来。这时潘晟出例道：“臣另荐一人，品德才智具为一时之选，可堪重用，便是司礼监秉笔冯保。”
张居正眉头一跳，心想潘晟这是吃错了什么药，居然跑出来举荐冯保，莫非是冯保请他进言的？冯保便是要走路子也是去求李贵妃，却让潘晟来说什么？高拱一听勃然大怒道：“潘晟你一个堂堂礼部尚书，九卿之首，竟为太监求职，成何体统？”
潘晟皱眉道：“方才高阁部也举荐了李芳，老夫为何不能为冯保进言？”
自从潘晟进京之后，高拱便对他左右看不顺眼，太子进学时的那堂课，高拱直接驳斥潘晟，却被太子出言劝解，高拱的厌恶更增加了几分。潘晟为人谦和，常常忍让三分，今日却在朝堂上直接反驳高拱，高拱怒不可遏，当堂道：“你这昏耽无德之人，如何能署掌礼部，今日当着皇上的面，便要揭了你的皮，不能许你再误了太子！”
高拱骂起人来向来刻薄刁钻，也不知他此前筹谋了多久，一下子辟里叭啦地列举了潘晟许多恶习。衣冠不整，随便请假的也罢了，但“结交市井奸人，有辱斯文”一桩罪名，倒引得朝堂上众人议论纷纷。潘晟素来不拘小节，常微服出入市井，与贩夫走卒立而论道。徐杲在世宗晚年因为修复万寿宫的工程很得宠，挂了工部尚书衔，隆庆朝后，自然被弹劾摘掉了，但潘季还为徐杲辩解过不少。在进士、翰林们看起来，实在是辱没了自己的身份，连带的，不免也觉得他会带些市井之气来沾染太子，这可是一桩天大的事。皇帝被群臣吵得脑子发晕，匆匆放了几句话，让潘晟下去写个辩章上来，自己便逃回内宫去了。潘晟教太子的时候不是很多，但向来耐心细致，太子很是尊重潘晟，听到这消息跑去求皇帝不要罢免潘晟。皇帝苦笑道：“高先生说他不太好，大概是真的有些……不太好吧。”
太子看皇帝神色，知道事情多半无可挽回，哭道：“高先生是父皇的老师，父皇敬重他固然理所当然；可潘先生也是孩儿的老师，孩儿便不能为他辩解吗？”
皇帝无言以对，只好顾左右而言它。正巧孟冲在皇帝身边，听到这番话，转头便告诉了高拱。高拱心想这必定是冯保教唆太子说的，心中记恨，又隐约有一丝不安。他很清楚自己现在的地位，与皇帝对自己全心全意的信任倚赖脱不了关系，但太子对冯保的倚赖远胜于自己。若是真有一日……高拱摇了摇头，努力将这不详的念头从脑子里甩掉，安慰自己：“皇上春秋正盛，待太子长成之后，我好好教他，自然能将他的性子扭过来。”