在回杭州之前，沈默已经写信给胡宗宪，向他道明此中的情况，说现在人多了，自己不宜再住您的别墅了。
胡宗宪收到信，笑骂一声道：“这个沈拙言，分明是还想赖着不走。”这当然是说笑，对于沈默能聚拢到这些俊彦，胡宗宪还是十分开心的，更何况这些人里还有他早就想招徕的徐渭、诸大绶等人，便立即回信道：‘你就别搬了，反正那里环境好，房间多，正好作文会。我闲暇时还可以过去，洗涮一下俗气。’又命人将拨给沈默的补助，提高到每月五百两白银，以供养士之资。
至少现在这个阶段，胡宗宪还是把沈默当成他的人。
客船一到了杭州城，便有五辆马车、一百多巡抚衙门的兵丁在码头等候，一个带队的千户率众人向沈默行礼道：“大人，末将胡中丞属下千户胡全，奉命听从大人调遣。”
这下把沈默弄得……老有面子了，笑眯眯道：“快起来吧，胡中丞太客气了。”笑完了觉着自己太官僚了，便微笑道“留两辆车就行了，其余的都回去吧，不要劳师动众。”
