有一天，万章又向孟子提出一个问题说：老师！有人说，孔子也是有问题的。他到卫国的时候，是住在一个外科医生家里；在齐国的时候，则是住在佞臣瘠环的家里，这是事实吗？
孔子周游列国时，在卫国住得最久，所谓「子见南子」这件事，就是在卫国。当时的国君卫灵公，后世史家说他不太聪明，实际上卫灵公是一个非常聪明的人，他在死后的谥号得一个「灵」字，也是不容易的。古代帝王，凡是谥号称「灵」的，都有点神经兮兮，但并不是精神分裂症之类的精神病，只是特别敏感，或者喜怒不易揣摩，有一点点神经质的样子，如汉灵帝等都是这样。对于粗暴不仁的，谥号则多用「武」字，如汉武帝、唐武帝等。所以卫灵公是相当聪明的，当时卫国的政治也相当修明，贤人也相当多。在古代，医生（古称巫医）是被人轻视的，每每和巫术放在一起，尤其以外科医生为甚。像痈疽这种外科是动刀的，为人们割疮，平常则是挑一个招牌，穿街走巷串村落的江湖郎中之类。
万章提出这个问题，是有所感慨的，好像说：老师，你既然不想出来做事，不想功名，那么就以前辈圣人来跟你比一比吧！于是提出了这个问题。
自古迄今，观察一个人，往往就看他所交的朋友，所以年轻人出去，交游要特别慎重。像孔子这样的人格、修养、学问、道德，竟然寄住到一个外科郎中和一个佞臣家中，接受他们的招待。万章言外之意，是对孟子说，即使是孔子这样的前辈圣人，到了困难的时候，这样「明知不是伴，情急且相随」的事情，也干得出来。
孟子说：不！不是这样的，这是后世那些欢喜造谣生事之徒说的，不是真实的事。这就像现在有些文人，为了稿费而乱写的历史小说一样。事实上，孔子在卫国的时候，招待他的是颜雠由，虽然地位不高，却是一位正人君子。其实当时在卫灵公面前，有一个最得宠的大臣弥子瑕，他的太太和子路的太太是姊妹，弥子瑕和子路是连襟。弥子瑕既是卫国的权要，随时可与卫灵公见面，弥子瑕曾对子路说，请你的老师和同学们住到我那里去，卫灵公常到我那里，随时可以见面谈话，欲当卫国的宰相，保证可以办到。子路也曾经将弥子瑕的这番话，报告给老师，孔子听了以后，在我们想象中，他也许笑一笑，然后对子路说：人生的出处，自有天命的安排，我不想这样做，因为孔子是讲究正命的道理。孟子举出这些事例，然后说：「孔子进以礼，退以义」，孔子在进退之间，都有他的道理。
青年人要注意，在接受学校教育毕业后，到社会中去工作，第一步的「出处」很重要，走错了很难转回来，所以人一进一退，都要恰到好处。孔子在《易经》中说：「知进退存亡而不失其正者，其唯圣人乎」。该进的时候晓得进，该退的时候立即退，该站的时候站，该躺下去的时候躺下，要做得恰到好处是很难的，只有圣人才做得到。
所以孟子说孔子，一般人说他在卫国和外科医生做朋友，在齐国和佞臣做朋友，这是别人诬蔑他、毁谤他的话，普通人都不会这样做，何况是孔子这位圣人。如果他真的这样做的话，那就是无义无命了，孔子绝对不会这样做的。
孟子继续又举出一件史实来证明，他说，孔子在鲁卫之间最落魄不得意的时候，受到宋国的司马桓魋迫害，他讨厌孔子，准备把孔子杀掉，孔子得知消息，换了衣服，化装逃出来。
孔子当年已极有声望，周游列国时，虽然只带部分门人，但因有三千弟子散居各国，所以各国诸侯都存有戒心，谁还敢用他？更怀疑他是否是来造反或当难民的。历史上描写他过宋之时，逃出来在一棵大树的旁边休息，宋国的司马，略似现代三军总司令，那个名叫桓魋的，派兵把这棵大树拔掉。这是文字表面上的意思。中国古代的文字，因为太简化了，的确难懂。桓魋要杀孔子，拔他旁边的一棵大树干什么？这种以文释义的解释，是不通情理的，读古文遇到这种讲不通的地方，就要加以研究了。
桓魋当时有兵权在手，是派兵要追杀孔子。我们知道，孔子深通六艺，六艺包括礼、乐、射、御、书、数，其中射与御，分明就是武事，而「数」，并不只是现代的数学，而是包括了天文、地理、韬略，等等，可知孔子并不是不懂军事的。虽然也曾有人向他请教兵法，他说不知道，那只是一种推托之辞，因为他不主张以武力解决问题，而主张行仁义以治天下。这次他从宋化装跑出来，也是保持这个原则，逃出来以后，为了自卫，选择地形把学生部署，以丛林为掩护。桓魋没有办法，就派兵去砍伐丛林，准备作战。孔子尽可能的不打，在桓魋的兵忙于砍树的时候，就乘机逃出来了。
孟子说，孔子在最落魄失意又困难的时候，是住在宋国的一位贤大夫司城贞子的家里。司城贞子的身份是陈侯，陈国这时已经破灭了，但国家未完全灭亡，所以仍算是周天子的臣子。孔子在如此困难、危险的时候，宁可冒生命的危险，也不会随便去住到其他人家里。
最后孟子做结论说：「吾闻：观近臣，以其所为主」，据我所知道的，观察一个君王身边当权派的大臣，就看他所接待的，是什么样的宾客；再看他所交游的朋友，是正人君子，还是酒肉朋友，就知道他贤或不贤。观察一个远臣，就是远游的人，就看他住在什么人家中。如果说孔子在远游的时候，会随便住到像痈疽与佞臣这种乱七八糟的人家去，那孔子也就不叫做孔子了。
万章在这里为什么提出孔子住在何处的问题来？这又有什么相干呢？这中间就有可研究之处了。
这时，孟子也正是相当倒霉的时候，万章心里的话是在说：老师，你老人家迁就一点吧！对一些有地位、有办法的人，点一个头，多打一个招呼，你就有办法了，我们也就有办法了。可是，老师你就是不肯低头。万章不好意思把这个话说出口，只有举出孟子最佩服的孔子来举例；意思是说孔子临到困难的时候，都会变通，你既然这样捧他，就仿效仿效他也无妨啊。而孟子答复他的话，也非常的妙。
古人把这些话，记录下来成书，如果从文字表面上看，只是两师生讨论百年前孔子曾经住在哪一家的问题，这不是浪费吗？我们将他的上下文连贯来看，就自然就会发觉它深远的道理了。
万章接着又提出一个问题：