1952年4月12日，彭德怀被接回北京，周恩来总理亲自到北京饭店来看望他。随后，彭德怀住进北京医院，接受对前额上肿瘤的手术治疗。为了对外保密，化名“王校长”。
他的真实身份，一开始连专门护理他的护士王春玲也不知道。一天，卫生部副部长傅连璋前来探视，工春玲陪傅连璋走向病房时悄声问：“这位王校长是哪个学校的？”傅连璋笑着说：“傻丫头，他不是校长，是彭老总，是志愿军司令！”王春玲高兴地说：“我说嘛，他根本不象个校长。”
彭德怀额上的瘤子，经检查确诊为脂肪瘤，4月下旬，由外科主任王厉耕为他做了切除手术。
出院前，彭德怀要警卫员买来两个笔记本，一本送给护士王春玲，在扉页上写着：“王春玲同志：好好学习，努力工作，不断进步。”下面签上自己的名字；另一本送给护理过他一段时间的副护士长高云青。
5月初出院后，按照他自己的想法是很快返回朝鲜前线，但是中央要他留下休养一段时间，由中央办公厅安排他住进中南海永福堂。永福堂是个小四合院，前院住着任弼时的亲属，西边不远是刘少奇和朱德的住所，东南边隔着春藕斋是毛泽东住的菊香书屋和举行中央会议的颐年堂，同军委的办公地点居仁堂也只有一墙之隔。彭德怀在这里休养两个来月，中央讨论了他的工作安排。
7月初，在一次政治局会议上，周恩来提议把彭德怀留在北京，以军委副主席的身份兼任总参谋长，主持军委日常工作，大家一致同意，但彭德怀表示不愿接受这一工作。
根据他在一本笔记中回忆，他是不想再从事军事工作了。而这种念头，并不是在这时才产生的。远在1937年红军改编为八路军的时候，他就有过离开军队去做地方工作的想法，并且后来还常常在脑子里反复。那个时候，为什么会有这种想法，他没有谈起过。而这一次不愿意接受这个工作的原因，从他后来的笔记中可以看出，主要是“因为当时总参谋部的工作确实繁重，自己难以胜任。原来的总参谋长徐向前同志久病不能工作，粟裕同志（1951年10月调来任副总参谋长）也有病，聂荣臻同志（代理总参谋长）的身体被拖垮了，曾有一次昏倒在地。所以我想推举一个身体强健的人来顶住这个繁重的任务，这样也可以摆脱我自己的军职。”
为此，他在参加那次政治局会议以后，专门去向毛泽东谈了自己的意见。他提出，自己担任总参谋长确实不合适，可以让高岗来当总参谋长，并且列举高岗的一些优点。毛泽东没有同意，反而问他，高岗难道就没有缺点吗？于是彭德怀又推荐邓小平来当总参谋长，毛泽东肯定了邓小平的才能，并认为他同军队有着较多的联系，是合适的人选，可是他从现在的岗位上抽不出来。交谈的结果，他的这个想法没有实现。
在抗日战争末期和解放战争初期，即从1945年中共第七次全国代表大会以后到1947年春天，彭德怀曾经以军委副主席的身份兼任过总参谋长。后来由于国民党军队进攻延安，他临危受命，出任西北野战军司令员，军委的日常工作和总参谋长的职务，便由周恩来接替下来。新中国成立后，徐向前被任命为总参谋长，因病由聂荣臻代理，军委的日常工作仍由周恩来主持。到1951年10月，中共中央确定林彪主持军委工作，他上班仅3个多月，就病倒了，周恩来不得不继续把军委工作管起来，一直兼管到1952年7月。从1947年3月算起，周恩来主持军委日常工作这5年多时间，是军事工作极为繁重又卓有成效的时期。但在新中国建立后，周恩来身为政务院总理兼外交部长，国家的经济建设和国际外交事务，已经够他操劳的了，把军委日常工作交给另一人来专管，确已成急需。
周恩来在政治局会议上提名彭德怀接替他主持军委日常工作的建议被批准后，即于7月9日向军委主席毛泽东和其他几位副主席朱德、刘少奇、彭德怀、林彪写了一个报告，作为正式向彭德怀交卸工作。
周恩来在报告中建议“彭德怀同志自即日起过问军委日常工作，直接向主席和中央负责。以后一切经过我处转呈主席或主席交我阅办的军委文电，均改送彭副主席处理。”
7月19日，中央人民革命军事委员会办公厅，根据中共中央的决定发出通知：“彭副主席已正式在军委办公，从即日起，凡有下列问题之文件、电报均抄送彭副主席”。接着在后边具体开列了18类文电的细目。
从此，彭德怀又一次进了统帅部，肩负起新的军事使命。这是他军事生涯中的新时期，也是最后一个时期。
彭德怀到军委一上任，工作就高度紧张。每天推开饭碗，走进办公室，一坐就是半天，晚上还继续批阅那些积案盈尺的文电，有时在夜间还去列席中央书记处的碰头会，往往一开一个通宵。好在他这个人在战斗环境里紧张惯了，现在这样生活也不觉得累。每到体息日，文电少了，他倒感觉不习惯了。
彭德怀以前在延安兼任总参谋长的时候，也是既处理军委日常工作，又参加中央的各种会议。当时的军委机关业务简单，可说是一个战略统帅部。由于各个战区的交通被敌军隔绝，中央军委对各大战区只能用无线电报下达战略意图和重大战役的方针。在延安时，军委作战部长李涛曾诙谐地说，我们的统帅部是世界第一，任何国家的统帅部都要给下属部队发军饷、发枪炮、筹调物资、补充兵员，可我们的统帅部就只发一个东西——电报。现在彭德怀回到阔别5年的军委机关，情况大为改观。军委机关在周恩来的主持下，经过3年多的建设，已经成为一个具有全面职能的国家军事统帅部。对于全军的指挥、管理、训练、供应，特别是对于边防、海防部队事务的管理，大至国际交往，小至战士饮食、着装问题，都已集中到最高统帅部来统一决策。为了在周恩来辛勤建设的基础上进一步健全军委机关，使之更好地发挥全军的首脑作用，彭德怀就职后针对当时情况陆续采取了下述措施：
一、建立例会制度。为“便于及时解决问题、便于互通声气、便于互相统一协调”，彭德怀同朱德、聂荣臻等酝酿磋商后，在1952年10月15日举行会议。到会的有朱德，聂荣臻、粟裕、黄克诚、张宗逊、肖华、赖传珠、徐立清、杨立三、肖克、肖向荣。彭德怀在会上说：“我来军委已两个多月，许多情况还没有摸清楚，只是感觉工作异常复杂。目前我军正处在战略转换时期，我们大家对现代化军事工作又都缺乏知识，要想把工作做好，还是多采取集体研究办法较为有利。”他提议把原来不定期的办公会议改为军委例会。每周召开一次，会议内容主要是传达党中央、毛主席的指示和重大方针政策，研究贯彻执行的措施；讨论军队工作中某些方针政策和亟待处理的重大问题，以及各总部需要解决的全军性问题；听取各种重要情况的汇报。与会者一致赞成彭德怀的建议。这一次会议，即作为第一次军委例会，会上传达了中共中央决定黄克诚、张宗逊任副总长，黄克诚兼总后勤部长，杨立三改任第一副部长等事项。随后，各总部也仿效军委，建立或健全了各部的例会办公制度。
二、健全机构。1952年8月4日，毛泽东批示赞同刘少奇的建议：国家进入建设时期，由于工作繁重，需调各中央局书记来加强中央领导，同时增设某些中央机构。
彭德怀根据毛泽东批示精神，考虑国防建设和业务上的急需，在人事和机构上也采取了相应的措施。
从1952年9月起，军委先后从各大军区调进一些高级干部，加强机关领导力量。到1953年3月，彭德怀在军委例会上说：“工作忙乱的原因，是军委机关不健全，这是事实，由谁来加强呢？再从各大军区调人来，是没有希望了，现在是要用点时间，把军级、兵团级干部送军事学院学习一下，逐渐增加上来。大体上5年能解决就不算慢了。”他认为眼下要健全机构，主要是确定编制、明确职责的问题。他说：“我们的编制还没有完全合理的确定下来，军委各部门、各特种兵、各大军区的机构编制，还没有根据现在的情况搞出来，我们各机关部门，大部分是临时感到需要，就临时增加。因此有的事情还无人管，有的事情两个部门都管。”为解决军委和大军区两级机关的编制、职责，从1953年3月25日至4月20日，彭德怀请苏联顾问作了8次报告。每次他都同各单位领导人去听课。然后，在顾问的帮助下，制定出各级机关的编制和职责，上报中央。他说“三个臭皮匠，顶一个诸葛亮”在某些问题上可以，但在军队编制上却不能以量代质。中国人多，要用在生产上，打仗还是要讲战术技术，避免枉死人。又说：“编制、职责定下来，就使检查工作有了依据。”
然后，根据苏联顾问的建议，从1954年起，军委和大军区实行了八总部体制。这对军队正规化建设起了积极作用，但也出现了机构庞大，分工过细，工作效率不高等缺点。通过总结经验，从1957年起到1958年又恢复为三总部（参谋部、政治部、后勤部）体制，并一直延续下来。
三、建立检查工作制度。彭德怀对那些工作不负责任、不深入了解实际情况的官僚主义作风，深恶痛绝。他到军委后，在首次全军性的会议上，就提出各级领导人和领导机关要建立检查工作的制度，每年至少深入基层两次，及时了解情况、发现并解决问题；发现积极分子，推广好的经验，纠正缺点，提高部队战斗力；克服脱离群众、脱离实际的官僚主义。
1952年10月24日，彭德怀主持军委例会，审议海军提出的追加预算时，发现预算做得很粗糙，当年不能举办的事情做了预算，当年不能动工修建的工程，也预算购买许多材料。彭德怀说，这不仅积压了国家资金，而且材料可能放坏，造成浪费。这类现象，不光海军如此，也是各单位的共同问题。他认为这是官僚主义在实际工作中的一种表现。由此他还批评了军事领导机关检查工作差，有的是根本不检查；有的检查不深入、不及时；有的是检查的方法不细致、不彻底，满足于召开会议，或者满足于轰轰烈烈的群众揭发，而不去直接看看实际和具体情况。海军司令员肖劲光于1952年12月15日向毛泽东报告了海军党委反对官僚土义的部署。16日，毛泽东批给了彭德怀、聂荣臻、黄克诚、肖华和肖向荣，赞同海军党委的布置。批语说：“如彭认为有必要，请在军委例会上加以讨论。作出决定。”彭德怀于12月20日主持军委例会，决定从1953年3月到5月，在军委直属部门中普遍开展反对官僚主义的检查。在这期间彭德怀利用各种机会，讲解深入基层解决问题的重要性，并且抓取典型事例把这项检查引向深入。到4月15日，他向毛泽东写报告说，军委机关对自身的工作检查之后，已经组织200多名干部分头下去检查工作，由军种、兵种和业务部门领导人带队。并说此项措施将要长期坚持下去，要成为制度。这次反对官僚主义的检查，明显地提高了军事领导机关的工作效率，同时发扬了全军领导干部深入基层的优良作风。
50年代军委机关一直保持着较高的工作效率，令行禁止，雷厉风行，保证了军队正规化、现代化建设的顺利进行。直到30年以后，1982年军委研究领导体制改革时，还有些领导干部怀念说，30年来军委领导体制几经变动，还是彭德怀主持军委日常工作时期办事比较顺当，效率较高。