郭巨所城的少千户汪帆之请了沈明臣作塾师。余姚知县胡宗宪因为谢家庄被双屿港的佛朗机夷所洗劫，带了谢志望来郭巨了解海上夷情。胡宗宪尽管看到了官军老弱病残，缺少战斗力，但他很有信心，因为他在山东益都时曾劝降了山寇。然而人微言轻，他在郭巨礼节性地拜会了所公署和千户府，就回余姚了。谢志望多留了几天。他登上了郭巨所的烽堠台，看到了海上的敌我形势，激发了他组织义军抗倭抗寇的决心。他为了报仇从国子监退学回家，投笔从戎，在家乡招募壮士，走上了抗倭抗海寇的道路。