到京后，彭德怀将50多天辛苦调查的结果——5份报告送到杨尚昆手里，请他转呈毛泽东和党中央，并希望毛泽东看过报告如约和他谈谈，他仍希望通过这种办法为党做一点工作。
《在扩大的中央工作会议上的报告》，以书面形式先发到与会者手中，进行讨论评议。彭德怀在吴家花园接到了报告全文。他仔细读下去，对报告很满意。报告在肯定我国社会主义建设成绩的前提下，指出了几年来工作中的缺点错误：工农业的计划指标过高；基本建设战线过长；国民经济各部门的比例、积累和消费的比例严重失调；人民公社在一个时期内混淆了集体所有制和全民所有制的界线，违反了按劳分配和等价交换的原则，犯了共产风和其他平均主义的错误；对农业增产的速度估计过高，对建设事业的发展要求过急……
对错误产生的原因，报告说，一方面是在建设工作中经验不够，另一方面是几年来党内不少领导同志不够谦虚谨慎，违反了党的实事求是和群众路线的传统作风，在不同程度上削弱了党内生活、国家生活和群众组织生活中的民主集中制原则。报告动员全党切实地抓好国民经济的调整工作，确定了坚决下马的方针。
然而，彭德怀向中央请了假，不去参加会议，因为报告中有这样一段话：庐山会议突然出现了以彭德怀同志为首的右倾机会主义反党集团的进攻，他企图利用当时工作中的一些缺点和错误，来达到他蓄谋已久的篡党目的。这样，会议就被迫地不能不转入反对右倾机会主义的斗争，这样做是完全必要的。这个斗争的胜利，对于保卫党的总路线，保卫党的团结，具有重大的历史意义。
彭德怀看到，即使实践已经证明他的意见没有错，他也难于平反。他按下满腹委曲，说道：“我也不希望平反，只要群众有饭吃。”
1月27日，刘少奇在大会上讲话，在谈到庐山会议时说：这场斗争是完全必要的，我们开展这场斗争是不是只囚为彭德怀同志写了这封信呢？不是的，仅仅从彭德怀同志那封信的表面上来看，信中所说到的一些具体事情不少还是符合事实的，一个政治局委员向中央的主席写一封信，即使信中有些意见是不对的，也并不算犯错误。
不是为这封信，又是为了什么呢？彭德怀疑惑不解，急急看下去：
“是由于长期以来彭德怀同志在党内有一个小集团”；“同某些外国人在中国搞颠覆活动有关”。彭德怀脸色陡变。在庐山上也没有听到的新罪名突然出现在中央领导人的正式讲话中。接下去：“所有人都可以平反，唯彭德怀同志不能平反。”毛泽东插话：“只要不是里通外国。”
彭德怀拍案而起，心胆俱裂，怒不可遏，失去一切控制，连声喊道：“诬蔑，诬蔑！”伸手抓起电话筒，就找中共中央办公厅：“请转主席和刘少奇同志，我彭德怀向党郑重申明，没有此事！” 从此“里通外国”就成了彭德怀的第一罪名，他的生命进入了一个真正险恶的历程，呈现出日愈悲凉的色调。
原来这个“里通外国”的罪名，是由于1959年5月，彭德怀率中国军事代表团出访东欧8个国家，在阿尔巴尼亚参加一次宴会前，遇到苏共总书记赫鲁晓夫，两人曾寒暄过几句。在东欧各国，兄弟党对中国的人民公社化和大跃进很关注，不免问及，彭德怀除谈成绩外，也承认存在一些问题和缺点。庐山会议批彭时，有人说彭德怀给毛泽东写信是不是和出国时“取了什么经有关”。这种捕风捉影的说法，彭德怀当时没有看得怎样严重。而今天，竟把出访中这种正常的交往，说成是和赫鲁晓夫通谋，搞颠覆，又以此作为不能给他平反的理由。问题不但没有澄清，反而又升了一级。
“七千人大会”结束，彭德怀继写《对八届八中全会决议的看法》之后，又奋笔写下了对刘少奇报告中有关庐山会议一段讲话的评论。对于报告所说长期以来彭德怀在党内有一个小集团之说，他问道：“这个小集团的政治纲领是什么呢？有哪些成员呢？既没有政治纲领，又没有具体成员，那不是虚构是什么呢？”对于里通外国，他愤愤写道：“我同任何外国人都没有个人接触。”“完全是无中生有。”
最后，彭德怀写道：“真理只有一个……。这个结论是主观主义的，事实将要证明它是错误的……这对我是诬蔑！”
冬去春回，彭德怀每日黎明即起，到园子里翻土施肥。晚饭后，仍然到园外去散步，有时到群众家中访问。但他读书的时候少了，上午、下午、夜间，总是在想问题，写材料。
他是在给党中央毛泽东写信。这是一个大计划，他要把庐山会议以来对他的过去和现在的指责一一说清楚，把他一生的历程、缺点、错误、是非曲直，通通写给党审查。两年多来，他写了许多笔记，其中有许多往事回忆，他决心在这个基础上写出一份较完整的检查与回顾。
深夜，他的房间里总是亮着灯。透过窗帘，他身边的工作人员知道他又在给中央写信，都为彭德怀捏一把汗。
司机赵凤池鼓起勇气劝他：“老总，我们看，还是别写了吧，免得再……”
彭德怀把手一扬：“杀头都不要紧！但事情要弄清楚！” “我这个人很渺小，但中国共产党是伟大的，不能因为捏造于我的假历史给党的光荣历史抹黑。我有权利、有义务作这个申诉！”赵凤池说：“老总呵，我们明白了。”
“也许现在没有用，留给后人作历史研究也好哇！”彭德怀补了一句。
浦安修星期六回家，他把写的信给她看，有时给她进一步解释其中的内容。浦安修默默地听着，一边看他写的信，有时给他校改几个错漏字。
1962年6月中旬，彭德怀写完了这封长达82000字的给毛泽东和党中央的信。
6月16日，彭德怀去中南海，把这封信亲手交给杨尚昆。并附送了一封给杨的信：
尚昆同志：
我阅了扩大的中央工作会议文件之后，实事求是的作了检讨，不符合事实的我也作了说明。惟时间长，问题多，加以写得了草，不便于中央同志审阅，请饬铅印多份送给中央领导同志为感。谨祝健康！
彭德怀
1962年6月16日午
杨尚昆根据彭德怀的要求，把信打印多份，分送给毛泽东和中央政治局各成员。
彭德怀这封以后被称为《八万言书》、《翻案书》的长信，共分五个部分：“关于庐山会议问题”；“关于高饶联盟问题”；“我同外国人的一些接触过程”；“我的历史过程及其几个问题”；“关于军事路线问题”。
彭德怀在这封长信的开头，对中央为克服国民经济工作中“左”的错误而采取的一系列调整措施表示满意，说：“这些措施是完全正确的，也是非常必要的，我完全拥护党中央的这些具体措施”,“今后形势可以肯定会一天一天的更加好起来。”彭德怀坦率地表白：“我对少奇同志的报告和讲话的绝大部分是拥护的，就连对我错误进行切合实际地批评的那一部分，我也是诚心接受的。可是我对少奇同志对我错误的不符于事实的夸大部分，是有不同的看法的。”“请求中央能派专案小组进行调查和审查，我是诚恳的感激。”
这封长信，第一部分的主要内容和第四部分的大部分内容已于1981年12月整理出版的《彭德怀自述》一书中披露。在第二部分“关于高岗饶漱石联盟问题”中，彭德怀详细叙述了他和高岗的往来后说：“我并不否认我在高岗问题上所犯的错误，首先没有及时向中央汇报情况就是一个严重的错误。高岗在散布攻击少奇同志的言论时，我不应该品评少奇同志‘有时有点偏’。如果说这就是‘高、彭联盟’或者‘恐怕是彭、高联盟’，而作为一个当事者的我，是有点想不通。”
长信的第三部分“我同外国人的一些接触过程”中，彭德怀在详细叙述了他9次与外国人的接触情况后说：“为了便于查对事实，我首先申明，我是一个完全不懂外国语言和不识外国文字的人，这就给查对事实的工作带来极为有利的条件。我同外国人的每次接触或谈话，都有翻译同志跟随着。……总之，是有充分条件来查我是否‘同某些外国人在中国搞颠覆活动有关’的。”9月，彭德怀得到中央的一份通知，要他不去出席即将召开的八届十中全会和10月1日的建国13周年活动。彭德怀淡然处之，认为早该如此。
9月24日，中共八届十中全会在北京举行。毛泽东在会上作关于阶级、形势、矛盾和党内团结问题的讲话，提出“千万不要忘记阶级斗争”，阶级斗争要“年年讲、月月讲、天天讲”。七千人大会后，由总书记邓小平主持，为庐山会议后的“反右倾”中受错误批判的党员干部进行甄别平反。短短三、四个月，几年来被错批判、错处理的人，绝大多数获得平反。尚未得到平反的人也敢于提出申诉。这引起毛泽东的不快。彭德怀的长信，更被毛泽东视为非常，他不时说：“近来刮平反之风不对啊！”1959年反右倾不能一风吹呵！”“毛泽东把甄别平反工作称之为“翻案风”。
8月5日，毛泽东在武汉同华东、中南两大区负责人谈话时，又点到了彭德怀，说：“我对彭德怀这个人比较清楚，不能给彭德怀平反。”
十中全会上，除批判所谓彭德怀反党集团的“新的进攻”，还添了两个冤案。一是批判中央主管农业工作的邓子恢所谓刮单干风，二是“揭发”所谓“高岗余孽”习仲勋“利用小说《刘志丹》进行反党活动”。
在这次全会上，彭德怀、邓子恢、习仲勋3人的冤情被定为当前阶级斗争的三个事件。全会决定成立两个中央专案委员会，对彭德怀、习仲勋二人进行全面审查。
专案审查采取“背靠背”的方法，即不与被审查者本人见面的秘密审查。但审查却是彭德怀期望的，也是他曾经要求的。在递交《八万言书》之后，十中全会以前，8月22日，彭德怀曾因等候了两个月没有得到中央的回音，再次给毛泽东并中央写信，信中说：
“我阅读了今年一月扩大的中央工作会议文件以后，于6月16日写了一封信给主席和中央，想蒙审阅。我写那封信的目的，只是为了想把对我所犯错误的性质弄清楚，除此之外，就没有任何其他企图。”
彭德怀重申：“我在中国长期（革命）斗争中是犯过一些错误的。”“但是，我诚恳地再次向党申明，我在党内没有小集团，没有企图篡党的丑恶野心，也没有同任何外国人在中国搞复辟活动。”
彭德怀在信中“请求主席和中央组织专案组审查，处理我这一莫须有的罪名。如查有确实证据，愿受党的纪律和国家法律制裁，那怕是处以死刑和开除党籍，都是不会怨恨的。”“只要把这一问题弄清楚，以后，我就不会再来打扰主席和中央其他同志了。我带着苦闷的、沉重的心情，再次请求对我所犯的错误进行全面的审查，作出正确的处理，泣伏呈辞，恳希鉴察。”
实际上，在十中全会召开前二日，即9月22日，对彭德怀、黄克诚、张闻天的审查委员会已经成立，并召开了第一次会议。对彭德怀的审查开列了如下五个问题：一、历史上的问题；二、篡党篡军问题；三、里通外国问题；四、资产阶级军事路线问题；五、大国主义问题。主要是所谓“里通外国”和“小集团”问题。与彭德怀希望洗雪其莫须有的罪名相反，从专案人员的笔记中可以看到，审查的口的不过是要论证其“罪名”。笔记记载的第一次专案人员会议精神说：彭德怀向中央写了两封信，非常恶毒，把《决议》和自己的3次检讨全部推翻，是新的进攻，很猖狂。这个进攻不打退，党内过去有些反党分子、尤其是他的反党集团成员也露了头。
专案组成立后，彭德怀“旧帐”升级，“新帐”再添。连1961 年的返乡调查也成了反党活动。1964年专案组成员去湘潭又进行了一次详细“调查”，凡在彭家围子与彭德怀有较多谈话的可查的来访者，都被一一查问，对66个被查问者做了“取证”。最后，向中央作了《关于彭德怀同志1961年回湘潭情况的调查报告》。在这个“调查报告”中，彭德怀的乌石之行被说成“别有用心、满腹牢骚”；他与社员的谈话被说成是“笼络人心、争取同情、散布毒素、混淆视听”的“反党言论”。与调查者的愿望相反，从专案组留下的近千页材料和“取证”中。再现了彭德怀当年和群众在一起的许多生动对话和场面，反映了他实事求是的精神和对农民疾苦的关怀，也使读者今天能获知彭德怀乌石之行的真实情景。十中全会后，彭德怀不再收到中央发来的文件或通知。吴家花园门口的岗哨突然加严，荷枪实弹，高度戒备。哨兵记事本上写着三条任务：保证安全，不让反革命分子杀掉，不让他跑掉；彭德怀出去要跟紧，不让他接见外人；在国内有重大变化时，特别要注意他的动态，了解他经常接触的人员，谈了些什么，及时记录下来。他实际已沦为吴家花园里的政治犯。
彭德怀对这一切视若无睹，毫不在乎。每天仍然是早上拿起他的锹和水桶在院子里翻土、播种、锄草、浇水。但看起来，他显得苍老了，染成青色的旧军装也打上了补丁。
到了年底，他又给毛泽东并中共中央写了一封信，对加诸他头上的所谓篡军问题、所谓篡改军史问题、关于领袖人物的评价问题、所谓企图以后勤部作篡军基点问题、不同意军事博物馆塑毛泽东像问题、所谓收买人心等问题，一一做了说明。他没有得到答复，他的信只是作为新翻案罪证又送到专案组去了。此后3年，他没有再给中央写信。
彭德怀在挂甲屯吴家花园，石砌的围墙和严密的警卫没有把他和村里的群众隔开，他现在和群众都熟了。
彭德怀有晚饭后散步的习惯，而且一定要走出村子。他散步又偏爱走田埂小路。村外有一座小桥，他常在桥上倚栏四望。田野、村庄，唤起他一些什么回忆呢？遇到社员在地里干活，他就爱去帮助干一会儿。转一大圈回村，顺便又拐到社员家去看看、问问。挂甲屯80多户人家，差不多他都了解。至今，老人们仍然记得他刚到村见人就说的一句话：“我是一个犯了错误的人呵！”日子长了，人们不在乎他“犯错误”，倒是越来越喜欢这个好心的老头了。
吴家花园饮水靠村里的一口小土井，天旱井干，雨天井满，实际是用不洁的雨水。国务院管理局决定在园内打口机井，彭德怀提出要打井不能只给他一人用，要村里人也能吃上机井水。机井在吴家花园西北角打出水后，彭德怀站在大门口，招呼村民进院接水，看着人们笑盈盈地把水挑走。
十中全会后，门卫不许村民入院接水，彭德怀大发一顿脾气。可卫兵是奉令，彭德怀也就不和战士多说。一天，彭德怀把景希珍叫到大门口来，说：你去找水管子，由我出钱把井水引到墙外去，再在下面垒个水池，不就行了吗。几天以后，大墙外水池前担水的人排起队，阵阵笑语。彭德怀每次路过，遇上有小孩子打水，少不了还要上去帮助一下。
吴家花园两邻的居民没有安电灯，每到夜晚，园内灯光明亮，园外一片昏黑。彭德怀又想帮助邻居办电。时值困难时期，大家都摇头——没钱，没材料。1961年夏天，彭德怀自己花了五六百元，买电杆电线，把电引到了两邻14户居民家里。
这年夏季多雨。一次暴雨连夜，凌晨4时，彭德怀突然翻身下床，披上雨衣，冲出大门，趟着深水，直奔村民卢兴院里。这时，卢兴家的两间老房正在暴雨中颤摇，卢兴一家8口畏缩在上漏下灌的危房内，听命由天。彭德怀站在院里大喊：“快走！都到我那里去！”卢家执意不去。他又冒雨跑回吴家花园，叫哨兵搬来芦席，自己手执电筒，像指挥战斗一样，指挥哨兵给卢家苫房。随后，彭德怀在雨中逐户查看，把住危房的人家都叫到吴家花园来，他的书房兼会客室里坐满了老人和孩子，彭德怀把热姜汤一碗碗送到挨淋的人手中。
十中全会以后，彭德怀不管哨兵的劝阻、跟随，在外出散步后，仍然不时往挂甲屯那些熟悉的人家中走访。由于他的帮助，突患半身瘫痪的民兵队长李文林得到救治，恢复了健康。在李文林住院期间，李的妻子为给丈夫治病筹钱，让大孩子退了学，把刚满8个月的孩子忍痛送人。彭德怀得知此事，连忙给李家送去奶粉、白糖、饼干。自己订的鲜奶也不喝了，叫给婴儿送去。又给李家的大孩子送去书包、袜子等物，劝李妻把婴儿留下，让大孩子复学，由他来负担李文林的医疗费。公社领导得知，为李文林解决了医疗费问题，李妻几次对彭德怀哭道：“是您救了我们一家子呵！”吴家花园内有几户工作人员家属，也是彭德怀经常关心的对象。园内、园外，每遇到谁家有难处，他就帮助。说：“我看到这样的事，不能不管！”
彭德怀自己的生活标准却一再降低，常叹气说：“目前国家这样困难，我在这里吃闲饭，难受呀！”罢官以来，彭德怀常常挂在嘴上的一句话：“我不能白吃人民的东西。”
彭德怀在吴家花园整整住了6年。6年中，彭德怀像当年在太行山一样，为自己“驻地”的群众做了许多好事：问疾送医，扶难救危，解决水、电，指导生产……他认真当起挂甲屯的一个村民，遇有红白之事，他常常要去为婚者道喜，为生者祝福，为死者致哀。
1965年10月24日，彭德怀即将离开吴家花园，中央专案组派人前去挂甲屯调查，写出一份《彭德怀在挂甲屯的一些活动》的报告，结尾一段这样写道：“由于彭德怀利用群众的封建落后进行拉拢，加上小恩小惠，处处装出关心疾苦的样子，迷惑了相当一部分人，成年人称他为‘彭老头’、小孩子们都叫他‘彭爷爷’。有的群众说，‘彭老头来了以后，挂甲屯有了福’, ‘彭老头是好人，国家都解决不了的问题，彭老头给解决了（指按电灯）’。尤其是吴家花园周围的人，一提起‘彭老头’、‘彭爷爷’，真有点感恩不尽的味道，有的老太太甚至表示永世不忘。”
人们学习解放军战士雷锋助人为乐、为人民做好事；一贯助人为乐、为人民做好事的解放军元帅彭德怀却因此而增添了罪名。彭德怀常说自已“没有崽” ，他把全部父爱给予了在抗日战争中被国民党杀害的两个弟弟留下的8个子女。5个未成年的，在他的抚育下都已长大成人。大侄女彭梅魁和丈夫张纯一常带着3个孩子到吴家花园来，小侄女彭钢从西安军事电信工程学院毕业回京工作，也住在吴家花园。彭德怀亲自为他们张罗饭菜，为彭梅魁的孩子洗澡，舐犊之情更深了。
彭梅魁至今保存着一张充满辛酸回忆的照片。那是1962年秋天一个星期五的下午，摄于吴家花园怀馨堂门前。
这天午饭后，彭梅魁全家都来了。彭德怀把3个孩子揽进怀里，逗了一会儿。彭梅魁提出，要孩子们和阿公一起照张相。彭德怀站在屋外台阶上给3个孩子摆好位置，彭梅魁拿起了相机，一看，伯伯转身藏到纱门后面去了。彭梅魁叫：“快来呀！伯伯。”彭德怀说：“现在我的名誉不好，孩子们还小，要让他们健康成长，不要因为我给他们造成影响。”彭梅魁听了一怔，眼泪跟着涌出来，忙按下快门。留下的这张照片，孩子身后模糊可见一个人的部分身影，那就是举世闻名的彭大将军。
晚上，彭梅魁给伯伯补衣服，彭德怀又嘱咐她：“我几次告诉你们别来了，你偏偏还来，现在我背着‘里通外国’的罪名，连下农村劳动的资格都没有了。但我实在冤枉极了，这样的冤枉要到何时才了结呢？”
彭梅魁擦擦眼泪，安慰伯伯：“我不怕，无论什么情况，我都要来看伯伯。”
要做到这一点多不容易呀。即令如此，当时的彭梅魁也想不到她今后为实践这句话，要拿出多大的勇气！但她确确实实做到了。即使在最艰难的时候，她仍给彭德怀以亲人的安慰和照顾。
1963年以后，彭德怀在吴家花园的生活显得更加孤寂和冷清。哨兵的记录本上，日常的记载只是“晚饭后彭钢来了”, “早饭后彭钢走了”, “彭梅魁来了”，“……彭梅魁走了”。
园内工作人员和警卫班党组织开会不再通知他。每当党小组开会的时候，他就在院子里静静地散步，远远注视着开会处的灯光。他知道，这意味着已停止了他的党内生活。
彭德怀这个高级党校的特殊学员，现在是更加“特殊”了。不让他去听课讨论，也不再有教员来辅导，只由校领导偶尔来过问一下，而且总是3个人一起来。回去还要追记他的谈话向中央报告。
在1963年的一段时间里，他用了许多时间写《读毛主席军事文选笔记》。这一年，全国的经济形势继续向他所希望的方向发展，全国的工农业生产恢复了好势头。他再不为经济问题操心，仍然转回到几乎占据了他整个生命的军事上来。从抗日战争时期起，他就希望根据毛泽东的革命战争战略思想，总结自己在历次革命战争时期的建军经验和作战经验。于是，在平静的生活下，他的心又回到烽烟弥漫的战争年代。不知什么原因，他的这件事情没有做完，只留下了一本未完成的笔记，刚刚论及他亲历的各个革命战争时期的作战原则，而且只完成了红军时期和抗日战争时期两段。他没能留下他全部军事生涯积累的经验和体会，留下的只是他的作战部署、命令和一次次战争胜利的辉煌纪录。
1963年底，彭德怀的三弟媳龙国英从彭家围子带着她的小孙孙到北京来看望他，并给他带来了家人和乡亲的问候。就在这一年，中央专案人员到湘潭去调查彭德怀1961年回乡的“反党言行”，使乡亲们知道彭德怀再次为他们而获罪。1962年彭德怀回乡时曾给乌石大队数百元钱植树，1963年给乌石大队寄去两袋速长早实的新疆核桃种。这一切都成为彭德怀“收买人心”的罪状。龙国英含泪向彭德怀诉说这些事情，也高兴地报告彭德怀两年来家乡生产生活的上升情况。
龙国英打听彭德怀被指责为“里通外国”的问题，仔细倾听彭德怀叙述他出国的经过。彭德怀申明：里通外国“绝无其事”, 是对他的“莫大侮辱”。龙国英劝他：“还是归老还田罢！”彭德怀没有作答，脸上浮着一丝苦涩又执拗的笑。
龙国英回家前，彭德怀和她及小侄孙合影留念。自搬到吴家花园后，他一直拒绝照相。这一次，他和心中的彭家围子与故乡人民一起留下了最后的身影——苍老的，却依然挺立的身躯；倔强的、坦荡的，带着一丝苦涩、沉思的笑容。
彭德怀的处境越来越严峻。也是这一年的秋天，他把《八万言书》的一部分手稿交给侄女彭梅魁，说：“我的问题看来一时解决不了，那包材料在这里不行，还是你替我保存吧。”彭梅魁接过纸包，说：“行。”彭德怀又叮嘱说：“这是我对自己一生历史的回顾和总结，等将来用得着时拿出来，为我争回清白。”又不放心地问：“你打算怎么保存它呢？”
彭梅魁想了想，说：“我把它送回老家，埋起来！”彭德怀点点头。
彭梅魁带着手稿回到湘潭乌石老家，将纸包放在一个磁坛子里，封好口，埋在灶房的柴堆下。
“文化大革命”开始，彭家围子遭殃。彭梅魁担心手稿安全，即回乌石，和堂弟彭康志商量，由彭康志把手稿埋在乌石峰下楠木冲水库旁的山坡上。以后，彭康志怕雨水浸湿，又偷偷将它挖回。以后，彭梅魁再次返回乌石，将它带回北京，藏在自己家中。
1978年12月，彭德怀沉冤昭雪，彭梅魁将伯伯生前郑重托付的手稿双手捧交给彭德怀的老战友、时任中共中央纪律检查委员会书记的黄克诚。经16年的曲折，这份珍贵的手稿，在彭德怀逝世两年之后，终于得见天日。
彭德怀自搬进吴家花园，就切断了和自己生命相连的军队的关系。“军事俱乐部”“反党小集团”这些远远超过思想路线问题的罪名，使他不得不和党内的战友也断绝了来往。杨尚昆有时到吴家花园来，是藉着安排生活的名义。杨尚昆回忆说：“也是想去看看他。”朱德总司令来看他，和他对奕，他不要朱德再来了。解放军卫生部长傅连璋来看他，他说，我犯错误了，你来做什么？傅连璋说：“我是个医生，你是我的病人，我来看病人的！”解放军上将李志民的儿子曾翻过墙到他屋子里坐了一会儿，他的父亲只要知道彭老总是否还在人间。另一个上将杨得志在颐和园偶然遇到彭德怀，彭德怀装出没有看见他的样子。杨得志跟在身后，向警卫员景希珍详细打听彭老总的情况，走了很长一段路。解放军忘不了彭老总。在吴家花园的门外墙边，还曾发现过一袋大米、两条人鱼，悄悄放在那里。是谁送来的呢？没有留下一句话。尽管彭德怀自己规定一个军人也不见，以免引起嫌疑，牵累来者，但几年来有一个军人的妻子常来看他，他却不拒绝，这就是1930年牺牲的红三军团纵队司令员陈毅安烈士的妻子李志强。李志强和儿子曾被国民党抓去坐牢，出狱后，母子二人在国民党统治区顽强挣扎到全国解放。多年来，彭德怀一直关心着这母子一家的生活。
十中全会以后，彭德怀劝李志强不要再来看他了，李志强仍不时带着全家人到吴家花园来。一天，李志强又带着儿子、儿媳、孙儿一起来了，彭德怀笑着问李志强：“我一个犯错误的人，你们又来干什么？”李志强也笑答：“我是个老百姓，不干政治的事。”
这天，彭德怀心情似乎很好，邀李志强参观了他的菜园、果园，从一棵桃树上撷下几个大桃送给李志强，并口占四句诗相赠。多年以后，当李志强有可能和人谈起这件往事的时候，她己经年迈体衰，只能回忆起后面两句：
平生戎马无暇日，
老来偷闲学种桃。
这两句诗虽为自嘲，也确是彭德怀这一段生活的一个侧面。使人不禁想起南宋曾举兵抗金的词人辛弃疾晚年退闲后的名句：“却将万字平戎策，换得东家种树书。”
为了给以后回乡生产自食其力做准备，彭德怀在吴家花园买了不少土壤学、栽培学等农业技术书，又拜附近果园的农艺师刘富先和孟瑞祥为师，学习果树栽培嫁接技术。吴家花园在几年内改了观，除有麦地、菜畦、鱼池，还种了桃、梨、核桃、苹果、葡萄、柿子各种果树。他计划把北方能生长的果树都引进吴家花园作实验，他和13岁就学艺、曾培育出秋香、燕红等著名蜜桃品种的园艺师刘富先结下友谊，常相过从。不想，这一非政治性的友谊，也使刘富先在以后的“文化大革命”中被关押了一整年。吴家花园的岁月悠长又匆促地过去了。在漫长的冬夜，彭德怀也常常看小说，读历史，特别喜欢读人物传记。他不再说自己是张飞，而常说：“我就像明朝的于谦。”
于谦在明朝曾官至兵部尚书，当北方民族瓦刺兵临明都北京城下之际，他受命于危难，举兵抗击，使局势转危为安。于谦为官清廉，性格耿直，生活简朴，不阿附权贵，后为瓦刺反间计所中，被明英宗以“意欲”罪杀害。《明史》载于谦被抄时：“家无余资，萧然仅书籍尔”。
彭德怀十分喜欢于谦那首有名的《石灰吟》：
千锤万击出深山，
烈火焚烧若等闲，
粉骨碎身全不惜，
要留清白在人间。
他几次对侄女彭梅魁、彭钢说：“我死后什么也不要留下，一身清白。”
1965年3月，美国出兵南越，中共中央在4月12日发出关于加强战备的指示，号召全党、全军和全国人民准备应付最严重的局面。9月，中共中央工作会议同意第二个五年计划“以国防建设第一，加速三线建设，逐步改变工业布局”的方针。沿海为第一线，华中为第止线；第三线是指西南的云南、贵州、四川3省，为全国的战略后方。
毛泽东认为，根据国际国内形势，彭德怀、黄克诚、习仲勋等人不宜留在首都，提议分配他们到外地，挂职下放。彭德怀专案审查委员会通知党校派人去和彭德怀谈话，了解他的学习情况。
7月7日，高级党校贾震等3名副校长一起来到吴家花园。彭德怀简单回答了过去的学习情况，话一下跳到了庐山会议：“党校的人对我说：‘你学中国政治经济学应联系你在庐山会议上的一些问题。’我就是那封信写坏了，不写那封信，主席会改的。总的说来，那封信可以不写，但是按我这个人来说，当时不能不写！”
彭德怀说得声色俱厉：“对庐山会议我没有意见，也可以教育人，就是有两条我硬是不能同意，一条我没有和外国人搞颠覆活动。我这个人倒是有孤立主义，还有民族主义，一向反对外国人，和外国人谈不来，也不认识一个外国人。”他一边说，一边用手敲茶几，茶几震动起来：“如果查出有什么叛国活动，按国法办！”“还有一条，说我搞小集团活动，我历来没有，也未想到，请中央去查，如有，按党纪处理！”
彭德怀提高了嗓子：“十中全会以后，什么文件也没有了，我现在好像是一个脱党分子，我不会像高岗一样去自杀。我这个人不会开小差，最好到农村蹲点，到基层去做点工作。现在我想到云南或贵州山区农村去……那里没有外国人。”
谈话进行了一个多小时，事后由贾震等3人回忆追记上报毛泽东、政治局常委、书记处成员和中央专案组负责人。9月7日，彭德怀、习仲勋专案委员会常委开会研究今后工作，康生在会上讲话说：
“中央最近分配这些人（彭、黄、习）的工作，我们了解有两方面：一方面更便于我们审查他们的活动，所以我们不要松气（有人插话：他们一出去，就会叫）；二方面还表示希望他们转过来，转不转过来，全看他们自己。”
9月11日上午，高级党校副校长贾震又到吴家花园，通知彭德怀：中央有人和你谈话，现在就请你去人民大会堂。步入大会堂江苏厅，彭德怀看到，中央书记处书记彭真和中央组织部副部长乔明甫在那里等着他。
互相问好，漫谈数语，彭真说明主旨：“今天我代表党中央和你谈话，中央决定派你去大三线任副总指挥。”
事情未免太突然，彭德怀沉默了片刻，回答：“我是共产党员，服从分配。但我犯了错误，说话没有人听，说错了人家怀疑，说对了人家也怀疑。”他表示对工业生产也没有经验，不愿去三线，仍希望去农村作调查。
彭真说明三线建设的战略意义，举出大三线总指挥是李井泉，彭德怀很熟悉的，干部则多是部队去的，“你到那里帮助李井泉，还是可以做很多事的”。
彭德怀仍然坚持想去农村做调查研究工作。谈着谈着，又把话说到庐山会议问题上来了。谈了两个小时，没有解决问题。彭德怀独自回吴家花园了，彭真打电话向中央报告谈话情况，贾震、乔明甫二人整理了谈话纪要上报中央。
事情似乎是僵住了。从中央说，这是示彭德怀以宽大，但他偏不接受分配；从彭德怀来说，他体会到中央对他伸出了手，但他的顾虑也是十分现实的。
9月21日，彭德怀写了一封信给毛泽东，请求允许他回到农村去。
彭德怀的信当天下午便送到毛泽东案头。“解铃还需系铃人”, 毛泽东看过彭德怀的信，决定明天亲自同彭德怀谈话，请刘少奇、周恩来、邓小平、彭真参加。
9月23日早7时半，彭德怀接到中南海毛泽东秘书打来的电话，说毛主席约他8时半前去谈话。彭德怀答：“主席习惯晚上工作，上午要休息，我晚上去吧。”秘书答：“叫你上午来就来吧！”彭德怀马上乘车前往，8点15分到达颐年堂，毛泽东已在门口等候，看见彭德怀来到，远远就伸出了手。
彭德怀紧紧握住毛泽东的手，向和颜悦色、专门等候着他的毛泽东问好。
毛泽东注视着彭德怀黑瘦的面容，斑自的两鬓，似生伤感，说：“几年不见了，你显老了。”
彭德怀勉强笑答：“我是无事不登三宝殿咯。”
毛泽东笑了：“早在等着你，还没有睡觉，昨天下午接着你的信，也高兴得睡不着。”毛泽东继续说：“你这个人有个犟脾气，几年也不写信，要写信就写八万言。今天还有少奇、小平、彭真等同志，等一会就来参加。周总理因去接西哈努克，故不能来。我们一起谈吧。”
那么严重的“翻案书”，被毛泽东一句话就化解为轻松了。彭德怀说：“好！”然后心平气和地向毛泽东解释了他向彭真、贾震等人谈过的不愿去三线，愿去农村的原因。
毛泽东说：“现在要建设大三线，准备战争，按比例西南投资最多，战略后方也特别重要，你去西南区是适当的。将来还可以带点兵去打仗，以便恢复名誉。”彭德怀答：“搞工业是外行，完全无知，政治上也不好做工作。”
两人在院子里边走边谈，彭德怀谈到在庐山会议上自己提到的三条保证，毛泽东说：“后面两条我还记得，也许真理在你那边。”毛泽东大海般的气度使彭德怀敬服。
8点40分左右，刘少奇、邓小平、彭真先后来了。大家略事闲谈，转入正题。毛泽东说：
“彭德怀同志去（三线）也许会搞出名堂来。建立党的统一领导，成立三线建设总指挥部，李井泉为主，彭为副。还有程子华。”
彭德怀仍然未接受：“我去搞工业是外行，时间紧迫，恐有所负，我想去边疆搞农业。”
刘少奇、邓小平、彭真一起劝他说，搞工业都不懂，都在摸索。
毛泽东环视在座的人，斩钉截铁地说：“彭德怀同志去西南区，这是党的政策，如有人不同意，要他同我来谈。我过去反对彭德怀同志是积极的，现在要支持他也是衷心诚意的。”
毛泽东接着说：“对老彭的看法应当是一分为二，我自己也是这样。”然后，毛泽东谈起了往事：“在立三路线时，三军团的干部反对过赣江。彭说，要过赣江。一言为定，即过了赣江。在粉碎蒋介石的一、二、三次‘围剿’时，我们合作得很好。反革命的‘富田事变’，写出了三封挑拨离间的假信，送给朱德、彭德怀和黄公略三人，彭立即派人将此信送来，三军团前委会还开了会，发表宣言反对了‘富田事变’。反对张国熹分裂的斗争中，也是坚定的。解放战争在西北战场的成绩也是肯定的，那么一点军队打败国民党胡宗南等那样强大的军队，这件事使我经常想起来。在我的选集上还保存你的名字，为什么一个人犯了错误，一定就要否定一切呢？……
毛泽东转头对坐在身旁的刘少奇说：“请少奇、小平同志召集西南区有关同志开一次会，把问题讲清楚。如果有人不同意，要他来找我谈。”
谈话进行了5个半小时。毛泽东一夜工作之后，还没有休息，也没有吃早饭，留彭德怀和在座诸人共进午餐。饭后，毛泽东显得有些疲倦了。彭德怀依依不舍，起身向毛泽东和在座的同志告别。
回到吴家花园，彭德怀的心情还激动不已，立即提笔把和毛泽东的谈话追记下来。他感到毛泽东的谈话是诚恳的，支持他工作是诚心诚意的，态度是坚定的，他深受感动。在以后“文化大革命”时期写的“交代材料”中，彭德怀提及此事，还写道：“主席谆谆教导使我终生难忘，去西南工作亦不便再拒绝了。” 然而，他的心头也被投下一些新的阴影。
毛泽东在送别彭德怀时忽然问道：“你在中南海游泳池畔对我说过要斗刘少奇同志，恐怕你是参加了‘高（岗）饶（漱石）反党联盟’吧？”
彭德怀迷惑不解，为何又来了这样一个大转弯？况且并无此事。彭德怀在一份回忆中写道：“反反复复回忆了两天两晚，睡眠时间很少，实在记不起有这样的事情。即或说过这样的话，也不能说这就是参加了高饶反党联盟吧。”
整个会见的气氛仍旧压倒了临去突然这一问。彭德怀开始为结束吴家花园的生活、投入新的工作作准备。
10月6日，总书记邓小平请彭德怀到中南海怀仁堂，告诉他，等刘少奇从东北回京，还要召集西南区在北京参加中央工作会议的负责人开一次会，要彭德怀为去西南工作先做些准备。邓小平对彭德怀说：“业务上大家都是外行，政治上照主席说的，要互相信任。”
邓小平谈话后，彭德怀到杨尚昆家里，请他帮助办理离京前的事务，并向杨尚昆辞行。面对老战友，彭德怀一掬肺腑，说：“这次到西南，我很难过，我不想去，想要搞农业，担任王震那个角色。有人（因此）说我对毛主席这样仇恨，其实我只是对主席思想跟不上。……”谈话中，彭德怀怆然泪下。
1965年11月10日，上海《文汇报》刊出了《评新编历史剧〈海瑞罢官〉》一文。这篇由江青和时任上海市委书记处书记的张春桥直接主持、由上海市委写作组的姚文元执笔的文章，把北京市副市长、著名历史学家吴晗为响应毛泽东学习海瑞直言敢谏精神于1959年6月开始酝酿，1960年写成的一个剧本《海瑞罢官》，硬和1959年7月在庐山出现的彭德怀被罢官一事联系起来，说成是替彭德怀翻案。在中央安排彭德怀去西南大三线工作的同时，彭德怀专案审查委员会的工作也加紧进行。委员会下属的专案办公室写出了《彭德怀反党问题审查报告》第五稿，并进行了讨论：“彭德怀和黄克诚这些人是反革命、阶级敌人”，专案审查委员会“实际上是审查反革命，审查他们的反党、里通外国、搞颠覆活动，要这样来写（审查报告）”,“审查委员会的任务不是证明谁正确，不是审查他们的翻案有无根据，而是进一步审查他们的反党罪行”。
当天边向彭德怀透出一角希望之光的时候，在他的身后，正酝酿着一场席卷全中国的、以批吴晗为罢官海瑞——彭德怀翻案为发端的政治大风暴——文化大革命”。
毛泽东、刘少奇、邓小平一致支持彭德怀出来工作，对他表示了良好的祝愿。彭德怀带着“真理也许在你那边”的莫大宽慰和“毛主席没有给我平反错误”的隐隐不安，准备离京赴任。他的情绪看起来越来越好，他己经67岁了，他的身体还健壮，内心仍然像一团烈火。只有为他许身的崇高理想燃尽自己，他才能得到永恒的安宁。
行前，彭德怀把即将去三线工作的事告诉浦安修。从彭德怀再上书八万言之后，浦安修也处境日艰，搬到师大去住，他们已两年多没有见面了。浦安修从师大回吴家花园和他话别，彭德怀问妻子对今后生活的意见，浦安修说，等他去成都工作上了轨道，她可转到成都去工作，和他团聚。
还有一事使彭德怀颇为踌躇：小侄女彭钢在他走后住到哪里去呢？吴家花园就是她的家。左思右想，彭德怀才提出在他去成都后，希望组织上能给彭钢找一间住房，还不安地说：“我一辈子没有为个人私事向组织上要求过什么，这次破了例。”1965年11月28日，开往成都的33次列车一声长鸣，从北京站驶出。彭德怀身穿染成黑色的军呢大衣，端坐在一节车厢内，吴家花园2250日如历史的一页轻轻翻过，他的心又跳动在新的战场上。