第二天一早，吃过早饭，李虎一行人出去采买东西，而许衡、谢方、张平整理好衣服，便出门了。
“先生，咱们这次去见您的先生，这人好厉害啊！”张平说道。
“这位先生正是杨简先生，我之前跟你们提起过，我与杨简先生虽不说是师徒关系，但杨简先生确实指点过我。此番路过，正好拜望先生。”许衡笑着说道。
“哦，是杨简啊，原来如此。”之前谢方说心学四句的时候，许衡对他们提过曾受教于杨简，后来许衡又给他们讲了一些心学的思想，因此谢方现在对南宋心学也有了一个初步的了解。
“谢方啊，你上次做的心学四句，我之前写信给先生说起过，先生还说孺子可教，今天正好去拜会先生，有问题正好向先生请教，呵呵。”听许衡这么说，谢方心说有些头大，上次拿王阳明的心学四句来应付道悦，这次见到杨简，又该如何说呢。
在路上，许衡简单的把杨简的事迹跟二人说了。杨简，字敬仲，号慈湖，庆元府慈溪人，后人多称其为慈湖先生。杨简年轻时就读太学，孝宗乾道五年、杨简三十岁时中进士。后授富阳主簿，任上兴学校、教生徒。
当时陆九渊过富阳，指示心学，虽然陆九渊仅长他二岁，但杨简坚持向陆执师生礼。后调任绍兴府司理。
绍熙五年任国子博士，庆元党禁起遭斥，家居十四年，著书讲学。
嘉定元年复起，历任秘书郎、著作佐郎、国史院编修官兼实录院检讨官。后出知温州，廉俭自持，首创废除妓籍，以廉俭为民所爱戴，当时势家第宅阻河，命撤之，民呼“杨公河”。杨简目前的职位是直宝文阁主管明道宫、秘阁修撰主管千秋鸿禧观。
杨简与袁燮、舒璘、沈焕共同创立心学的四明学派，故其四个人被尊称为“甬上淳熙四先生”。关于杨简嘉定元年起复的原因，一是杨简的心学造诣、官声，让朝廷不能不用，另外一个原因便是杨简曾经当过当朝权相史弥远的老师，这一点谢方之前便知道一些。
史弥远的父亲史浩曾为尚书右仆射，史弥远为其第三子。史弥远和杨简都为庆元府（今宁波）人，史弥远小时候一直在月湖边长大。当年月湖几乎是史家的私湖，湖上尽是史家住宅。史浩有五个儿子都有官职，长子史弥大一直跟随父亲左右，官至少傅侍郎，封少师，于是太师府前又新建了少师府，简称前府。
史弥远等儿子则住在与太师府隔湖相望的湖西芙蓉洲。此外月湖边上就是史浩倡导下的由淳熙四先生执教的书院。史弥远曾就读于碧沚讲舍和城南书院。其中城南书院的主讲是袁燮，碧沚讲舍的主讲是杨简，因此杨简与史弥远曾有一段师生的关系。
不过史弥远当权后，史弥远似乎与这两位老师的关系渐渐疏远。史弥远主张与金和议，袁燮与史弥远意见不同。嘉定间金寇交攻，史弥远让侍郎胡榘专主和议，会入朝，侍郎袁燮与胡榘廷诤专主战守，以笏击胡额，遂下台谏集议，以此辞归。太学生作诗送袁燮说：“天眷频年惜挂冠，谁令今日远长安，举幡莫遂诸生愿，祖帐应多行路难，去草岂知因害稼，弹乌何事却惊鸾，韩非老子还同传，凭仗时人品藻看。”后来的事实表明弹劾袁燮的主意便是史弥远所出。
谢方记忆中，后来理宗即位后，杨简以列卿召对。理宗他问说：“听说师相幼小时曾接受过你的教育？”杨简回答说；“臣教育弥远不是叫他这样做的。”理宗说：“这话怎么说呢？”杨简回答说：“弥远把他的君皇当作棋子一样来看待，可以任他来摆布。”理宗默然。罢朝后理宗将与杨简的对话说给弥远听。弥远听了十分无奈地回答说：“臣的老师平素有头痛的毛病。”想到这里，谢方只觉得好笑，于是更想见见这位铮铮铁骨的慈湖先生了。
杨简作为“甬上淳熙四先生”之一，他继承了陆九渊人心本正本善的思想，“或疑发明本心，陆氏但以为入门，而文元遂以为究竟”。杨简在陆九渊理论的基础上引入了“意”的概念，将人心之弊由外在的物欲转换为内在的意识。在杨简看来，“意”是产生“千失万过”的根本原因：“此心本无过，动乎意斯有过。意动于声色，故有过；意动于货利，故有过；意动于物我，故有过。千失万过，皆由意动而生。”
那么，“意”究竟是指什么呢？杨简说：“何谓意？微起焉皆谓之意，微止焉皆谓之意。意之为状不可胜穷，有利有害、有是有非、有进有退、有虚有实、有多有寡、有散有合、有依有违、有前有后、有上有下、有体有用、有本有末、有此有彼、有动有静、有今有古。若此之类，虽穷日之力，穷年之力，纵说横说，广说备说，不可得而尽。然则心与意奚辨？是二者未始不一，蔽者自不一。一则为心，二则为意；直则为心，支则为意。”
杨简的“意”，“不仅是指‘邪念’之类，而且是指人的本能之外的一切的意识活动”，即“任何实际的、具体的知觉、情感等思想意识活动”。杨简认为造成我心之蔽的真正根源是意，因为万物本在我心之中，只要不“非裂物我”，物就不会对心产生伤害。这就从物与心的对立中解脱出来，跃过了陆九渊“气有所蒙，物有所蔽，势有所迁，习有所移。往而不返，迷而不解，于是为愚为不肖”的思想，堵塞了致力于心外求索的可能性。由此引出的以“意”蔽我心取代“物”蔽我心的思想，使其主观唯心思想更加鲜明彻底。
熟悉后世王阳明的谢方知道，心学四句中“有善有恶意之动”便是阳明先生明正德末年得到《慈湖文集》后，更加关注的是意的作用，认为善恶源自于意，应该说这跟其受杨简的影响有关。阳明先生评杨简：“慈湖不免着在无意上”，“杨慈湖不为无见，又著在无声无臭上见了。”因此在王阳明看来，杨简不乏见地，但太过执着于毋意，实质上取消了儒家内圣外王的种种工夫。
又行了约莫半个时辰，许衡三人来到一处宅院面前，谢方见门口写着“杨府”二字，便知到了，就见许衡拿出一张拜帖交给门房，便在门口等候。
等了片刻，便有人把三人接入院内，只见院子收拾的干净整洁，并有假山、树木、花草点缀，显得自然典雅，却又生机盎然。走到第一进院子的正屋，就见屋内坐立一老者，灰布衣衫，约有七十多岁，虽然须发都白了，但精神气色尚可。正微笑着看着许衡三人，许衡拉着谢方、张平连忙下拜，“此人便是杨慈湖无疑了。”谢方心中说道。