1953年7月，彭德怀在朝鲜停战协定上签字，8月中旬回到北京。战争的停止，使军事工作面临新课题。
他到京的第二天，适值全国财经工作会议结束。会议的议题之一，是解决上半年出现的二、三十万亿（旧币，相当于现币二、三十亿，以下类推）财政赤字。会后经中共中央政治局讨论，于8月28日发出《关于增加生产、增加收入、厉行节约、紧缩开支，平衡国家预算的紧急通知》，要求全国压缩支出12.5万亿元，其中要求军费减少3万亿元。毛泽东还提出今后的军政费用在国家财政支出中不得超过30％。《通知》具体要求“军事系统（包括公安部队）应在整顿组织、精简机构和冗员、加强技术训练、提高部队质量的基础上，大力缩减军费开支。”
可是在这之前，毛泽东曾提出“中国人民必须建设自己强大的国防”, “我们将不但有一个强大的陆军，而且有一个强大的空军和一个强大的海军”。“建设我军为世界上第二支最优良的现代化的军队”。
这种情况，就是黄克诚所说的：“又要建设一支优良的现代化军队，又要使国家机构费用（包括军费）不超过总支出的30%，这是一个尖锐的矛盾，一个很大的难题。可这又都是毛主席提出来的。现在军队就得要从这种矛盾中找出最合理的方案。”彭德怀说：“建设我军为世界上第二支最优良的现代化军队，是军队工作的依据，中央在8月28日发出的《通知》，也是依据。”这两个依据都是军队建设必须达到的目标。如何达到呢？他考虑这需要根据国家财力和科学技术情况的发展，分作若干步骤来实施，才能完成。
彭德怀认为，为此必须修改1952年制订的5年军事建设计划。那个计划是在周恩来主持下，由聂荣臻、粟裕具体研究编拟，彭德怀参加讨论，苏联顾问帮助制订的；也是在彭德怀到军委就职的前一天，由毛泽东批准要彭德怀来主持实施的。那是朝鲜战争仍在继续时的计划，技术军种、兵种的发展规模都很大。例如，空军要发展到150个飞行团，6229架飞机，建153个机场，这当然需要一笔巨款。但到1953年底只能完成72个团，其他军兵种也大致相似。要修改计划，就必须与各军兵种领导人统一认识。8月21日，彭德怀在扩大的军委例会上，向各总部、各军兵种领导首先传达毛泽东对国内外形势的分析时说，毛主席认为，朝鲜战争重起的可能性虽然存在，但较大的可能是长期拖下去，停而不和，或久拖而后和。彭德怀也认为“在目前（美国）要重新进行战争或扩大侵略战争的可能性不大”，接着，他告诉大家，根据这种看法，中央已经确定，全国的工作重点主要是集中到第一个五年经济建设计划上。而这一计划的重点，是要用一切办法挤出钱来建设重工业和国防工业。他提出，全国的工作重点转换了，我们考虑问题的出发点也必须转换过来，原来拟订的军队建设5年计划，虽然中央在去年7月已经批准，但是技术军种、兵种的发展计划，显然要求过高；原来准备向国外购买的武器装备，也显然过多，现在必须修改。全国的常备军员额过大，机关臃肿超编，非队列人员近60万人，必须加以精简才能把有限的军费用到军队基本建设土来。总之，朝鲜停战以后，军队的建设要巩固地前进。为使高级干部进一步了解全面经济情况，开阔视野，提高思想认识，他在一星期之后又召集了第炭次扩大的军委例会，请来国家计划委员会主席、军委副主席高岗，向在京的各大单位军政首长作了一次报告，详细介绍当时国家财经状况。高岗说，1953年的财政赤字达25万亿元之多，占当年国家财政预算总收入195万亿元的12.8％。为此中央才下决心要发一个《紧急通知》。在这次例会上，彭德怀还传达了毛泽东在中央书记处会议上的一个建议，要求“目前全部国家机构费用（包括军费、政费在内）最高不能超过国家总支出的30% ”。这就是说，军费在今后一个相当时期内，将要比1953年大大减少。即使国家财政收入逐年增长，军费的绝对数，也不会增加多少，因此，必须下最大决心来对军队实行精简整编。
随后，彭德怀于9月4日召集了第三次扩大的军委例会，向大家提出准备采取的精简方针，让大家展开讨论。
在讨论过程中，聂荣臻介绍了军队的员额情况。他说，过去三年多，虽然前方一直在打仗，但是为着尽快争取国家财政情况基本好转，军委硬是把军队复员转业了260多万人。目前全军包括今年入伍的40多万新兵，总共还有480多万人，其中队列人员有422万多人，非队列人员（主要包括伤病员、待分配人员、家属、小孩、保姆等）有57万多人。继续保持这样一支庞大的常备军，显然是非常不适宜的。
在讨论中，有些人主张多减一些。认为，只要看准形势，就应抓紧时机，尽量减少常备军，腾出人力、物力、财力增强国家应付战争的潜在力量。例如苏联，在打败14个帝国主义武装干涉和国内战争结束以后，从1920年到1924年，把原有的550万军队，减少为56万，裁减90％；在第二次世界大战结束以后，从1945年到1948年底，把原有的1236万，减少为287万，裁减四分之三，军区机构由33个减少为21个。这说明，摸准国际气候以后，少保留一些常备军，不会有什么危险。
另一些人认为，我国目前情况和苏联不同，不应减得太多。因为我军不仅需要继续保证有把握地打败帝国主义重新发动的侵略战争，而且还要准备完成解放台湾、统一祖国的任务。大家各抒己见，议论纷纷，相互争执，气氛热烈。在大家发言中，彭德怀通过插话，着重阐明了几个观点，把争论引向一致。
一、我军建设现在所处的国际国内环境，既不是相当稳定的和平环境，也不是战争即将爆发的临战状态。因此，对军事工作的安排，不能象1950年春天那样，许多部队去搞农业生产，“马放南山，刀枪入库”也不能象朝鲜战争爆发时那样，把一切工作集中于加强部队的现实战斗力，而不注意军队的基础建设。
二、常备军的建设，只是国防力量建设的一部分。国家常备军加上国防科学技术工业能力和国家的动员潜力，才是国防力量的全部。考虑平时军队建设的时候，必须注意有利于国防工业的加强，有利于国家动员潜力的积蓄。
三、国家的经济发展水平，科学技术发展水平，是国家防御力量的物质基础。没有现代化工业，没有现代化交通、通讯等设施，就不会有现代化国防，也不会有真正的现代化军队。即使有一支用现代武器装备起来的军队，也不可能在现代战争中充分发挥作用。
从这些观点出发，彭德怀提出了军队的精简原则：国家武装部队的总数应保持一个适当的数量，太少会削弱国家现实的防御力量；过多则增加财政负担，影响经济建设。为了在裁减人员的同时，能够保持和提高部队的战斗力，他建议：多减机关，少减部队；多减步兵，少减特种兵；多减战士，少减干部，增建学校。对于各军种、兵种的人员定额，他具体提出：步兵可减少几十万人，空军、防空军、装甲兵、炮兵、工程兵和铁道兵等都在现有基础上巩固提高，不增不减，海军可以略有增加。
讨论这个建议时，大家对裁减步兵是没有意见的，但对技术军种、兵种不增不减，不予扩大，表示难以理解。这就又使彭德怀费了不少口舌。
当时在军队中，存在一个普遍的想法，认为军队建设的现代化，主要是表现在技术军种、兵种的建设上。国际战争已经进入原子武器时代，技术军种、兵种的建设更加迫切。朝鲜战争已经停了下来，全国经济建设已经全面铺开，军队建设自然也需要全面展开。特别是当时在各军种、兵种工作的苏联顾问，都有扩大本军种、兵种的强烈情绪，炮兵顾问说“炮兵是战争之神”；装甲兵顾问说“装甲兵是战场上的主要突击力量”；工程兵顾问说“工兵是战场上的开路先锋”；海军、空军的顾问更加强调海、空军的重要。这些意见，也反映到会议中来。这就更增加了彭德怀的工作难度。但他对各军种、兵种的要求表示相当谅解。他很体谅部下的心情，他说，一个下属单位的负责人，要求上级重视他们的业务建设，改进工作现状，这是一种积极性和责任感的表现。组织上安排他们到那些单位工作，就是要他们去建设和发展那些业务的，如果他们唯唯诺诺，得过且过，那是十有九个不能很好完成任务的。他对那些经常强调本单位工作重要的干部，从来不多责备。
对于技术军种、兵种在现代战争中的重要性，他自己又何尝不了解。但是，他仍然耐心说服大家，目前不能多扩大这些技术部队。如果扩大，就必须向国外大量购买武器装备。像中国人民解放军这样庞大的军队，是用进口武器能够现代化的吗？这是个建军道路问题。我们不能走蒋介石军队现代化的道路，他那几百万军队，不光武器装备是从美国进口的，连官兵的被服和食品都是从美国进口的，可是他们这种现代化又起了多大作用呢？在讨论中有的人提出，可以把有限的装备费用集中使用，首先把某一个军种加快建设起来。彭德怀说，军队建设应有重点，现在实行的就是以空军和陆军的炮兵、装甲兵为重点。但要知道，现代战争是各军种、兵种密切协同的战争，任何单一的军种都不可能解决战争的胜负问题，任何军种也不能代替其他军种。我们军队的建设既要有重点又要照顾到一般，过分突出某一军种、兵种是不适宜的。
经过讨论，各种意见基本讲完，彭德怀最后概括说，全军必须精简，各特种兵则要在现有基础上巩固提高，减少国外订货，选择重点建设，坚决执行毛主席关于全部国家机构费用不超过国家总支出30％的指示，挤出钱来，发展重工业和国防工业。他对“各特种兵在现有基础上巩固提高”的具体耍求是：要尽量利用现有的进口武器，尽可能多的培养训练技术人才。空军飞行员的训练时间要从2年延长到3年半，使每架飞机有2名到3名驾驶员，力求每个驾驶员的技术水平达到全天候飞行的标准。海军、装甲兵、炮兵等部队也仿照空军的技术标准，提出自己培养训练的计划，以便战争到来之前、本国现代化武器大批生产出来之前，打下技术基础，做好人才准备。
随后，彭德怀于9月8日向毛泽东书面报告，建议修改1952年的军队建设五年计划，常备军总定额定为350万人，在两年内实现；技术军兵种五年内不再扩大，只在现有基础上巩固提高，多培训技术人才。同时还提出军委和大军区两级的编制，公安部队的整编、分工，准备实行义务兵役制、军衔制、薪金制和军事训练等问题。拟于11月下旬举行一次军事会议，由各人军区司令员、政治委员出席，讨论解决上述问题。
彭德怀的报告立即得到毛泽东的批准。在看到批件的当天晚上，彭德怀把警卫参谋景希珍叫到办公室，向他讲了军队要精简整编的问题。然后便说，“我这里现有三个人做警卫和生活服务工作，太多了。我是军委负责人之一，精简嘛，应该先从我这里开始。你们三个人去商量一下，抽出两个同志去学习，留下一个人就可以了”。等到他们商定以后，他又向留下来的景希珍说：“我这里减了两个人，你的工作加重了。可是你要知道，你一个人一年所需要的费用，要农村12个老百姓劳动一年才供得起。全军如果减去几十万多余的人员，就能给国家省出很多钱。军队精简，我当然应该带头，如果我自己做不到，只要求别人去做，人家当面不说，背后也会骂我的。我自己带了头，给别人做工作也就有力量了。”
关于召开一次军事会议的建议得到毛泽东的批准以后，彭德怀即开始进行准备工作。
10月3日，他主持军委例会，讨论会议的开法。他首先谈到自己有一个新的想法说，这次会议既要检查过去4年的工作，又要讨论今后5年的建军方针和发展道路，就应当尽量给到会人员创造畅所欲言的气氛，使大家不受会议形式的拘束。所以他考虑，最好不叫军事会议，可以改为军队党的高级干部会议。他还提出，这次会议要解决的都是重大问题，只靠军委和各总部是准备不好的，单纯依靠到会人员临时发言也很难取得应有的效果。因此，最好预先发一个讨论提纲给各大军区，军、兵种，直属院校和各总部党委，让他们有更多的时间收集下边的意见，集思广益。
大家很赞成他的建议，把会议的名称定为：“全国军事系统党的高级干部会议”（后来人们简称为“高干会”）。军委在10月5日发给各大单位的通知中提出：为使这个会议开得好，特拟定下列提纲，希望根据此提纲在今后一个月内，各大单位党委进行若干次的讨论和研究，讨论结果在11月10日前摘要报告军委，以便军委作综合研究。
这一通知，就象抗日战争时期发起“百团大战”的前一个月那份“预令”电报一样，对于预先传达领导的意图，集中参加会议人员的意志，加强应有的思想准备，起到了重要作用。彭德怀亲自主持起草向大会的工作报告。他同聂荣臻、粟裕、黄克诚、肖向荣以及个别业务部门的负责人，连续集会商谈，确定工作报告的基本精神和主要内容，明确一些重大问题的处理原则，然后由黄克诚、肖向荣整理成书面文件。
毛泽东对会议的准备给予很大关注，在大会的工作报告拟稿时给彭德怀写信说：“军事会议快要开了，你是否准备写一个书面报告。要写，现在就要着手了。我觉得有一个简明扼要的书面报告为好，讲时可加发挥，使人好去传达，免致传错，会上讨论时也眉目清醒些。如你无暇写，可要肖向荣照着你的意见去写，请酌定。”
信中还写道：“军事会议的末尾，有一段时间让人们对军委几年的工作加以评论，将下面对军委及军委各部相互之间的不满意见尽量讲出来，然后加以分析批判，以期弄清问题、统一意志，极有必要。这样做的结果，估计是会好的，不会损伤什么同志。如你同意，这个问题应列入议程，并在你的报告中提到。我记得军委召开会议的通知内，已将检讨过去工作的意见写上去了。如这样做，请叫各部门同志作精神准备。”
第二天，彭德怀在军委例会上，宣读了毛泽东的信，传达了毛泽东的口头指示，具体安排会议的组织工作，并拟出一个大会主席团名单。随后向毛泽东正式报告说：“会议的议程，拟分为四段：第一段，报告和讨论四年军事工作总结和今后建军中的若干基本问题，以及关于组织编制问题。对军委和军委各部门的意见，也在这段会议中提，以便统一认识；第二段是关于军事训练和军校工作的专题发言和讨论；第三段是关于政治工作条例的发言和讨论；第四段，是关于干部和超额干部处理的专题发言和讨论。”
毛泽东看了这个报告，很快批复：“照办。”
高干会的正式会议，于12月7日开幕，1954年1月26日闭幕，共51天，出席者有军委各总部、各大军区、各军种、兵种和直属院校的主要领导干部123人，开幕那天，中南海居仁堂大厅座无虚席。这样规模的全军性会议，在新中国建立以后是第一次。正如陈毅在发言中说的：“这样大的会议，在延安也没有召开过，等于全军的党代表会议。”出席会议的人员，多为名将，可谓各路英雄荟萃一堂。
会议开始，朱德致开幕词，彭德怀代表军委作工作报告，题目是：《四年来的军事工作总结和今后军事建设上的儿个基本问题》。
关于军委4年来的工作，彭德怀列举了周恩来主持下军委工作的全面成就，给子很高的评价，同时提出了今后需耍继续解决的问题。
对于今后的军事建设，彭德怀提出，党中央规定过渡时期军事建设的根本任务，就是要“在现有的基础上，有步骤地建设一支强大的现代化的革命军队”。接着他具体阐明在新的历史条件下，军队建设十个方面的工作要求：
第一，确定全国武装部队的总人数（包括公安部队在内）为350万。要求在这个总定额内，各军种、兵种部队按照规定的数量不再继续扩大，并且对机关、学校中的兀员大量裁减，以达到“精简、统一、效能、节约和反对官僚主义五项目的”。
第二，关于军队的组织、编制和工作职责。聂荣臻代总长有专题报告，彭德怀只提了一些基本原则，这些原则可以说是他对军队编制理论的具体阐述。他说：“我们军队的组织编制，主要是决定于下列各种因素：第一是作战对象及由此而产生的军事需要；第二是国家的经济状况，主要是工业生产的能力和现有的军事技术水平及由此产生的新的兵种；第三是武装力量的组织系统及其指挥关系的规定；第四是对军队各种装备、物资的供应补充的规定；第五是过去的战争经验、我国具体的地理和气象条件等等。这些是对部队的编制来说的。如果包括整个国家的军事机构来说，就还要再加上一条重要的因素，这就是根据我国的行政区分以及各省人口、地理、交通条件、治安情况等具体情况的不同，而应因地制宜地制定不同的编制。”
第三，关于若干制度的改革和确立问题。他提出在今后两年中，要改变志愿兵制为义务兵役制，改变供给制为薪金制，实行军衔制度和颁发勋章、奖章制度。
第四，认真办好学校，提高干部质量。他强调：“干部决定一切”这个真理，对于我军今后的建设是具有严重意义的。要求在今后4年中，必须培养出一批与现代化军队要求相适应的军事干部和其他各类干部。关于这些干部的标准，他要求，必须忠于社会主义事业，具有马列主义的思想基础，有现代军事科学知识，有一定的科学技术和文化水平，能够钻研业务和富有朝气。
第五，关于军事训练问题。他之所以要特别提出这个问题，主要是因为当时有不少干部对军事训练不够重视。报告中说：“过去我们的技术和装备比较简单，现在已逐渐在改变；过去我们主要是在战场上练兵，现在则主要是依靠进行正规的军事训练。”
第六，对于今后各级司令机关的建设，彭德怀的要求是，“逐步做到使我军指挥人员与参谋人员的轮换与合一，以提高我军参谋工作的质量与指挥的质量”。
第七，关于部队的政治工作问题。这个问题，是针对当时“那些以为在今后建军中减低政治工作的地位和轻视其作用的想法”提出来的。他提出，在军队建设的新时期，必须继续发扬部队中政治工作的优良传统，进一步加强政治工作，特别注意部队的思想领导，并从多方面来保证部队的巩固和战斗力的提高。政治工作本身，亦须更进一步与各项业务和军事技术相结合，给业务和技术的提高以有力的保证。
第八，后方勤务的组织和工作建设问题。后勤工作在过去战争时期，由于军队所需要的战争物资主要是取之于当地人民和敌军，所以只是一种物资分发和伤员救治的工作。在现代战争中就大不相同了。彭德怀经过朝鲜战争的亲身体验，非常强烈地感到了这一点。他在报告中为后勤工作提出的任务说：“现代战争的后勤组织与工作，不仅是单纯组织物资和伤病人员的运输和分配，而且要与敌人的空降、轰炸作严重的斗争，要指挥防空兵、铁道兵、工兵和步兵的活动和作战。如果没有精干的、通晓战争知识、科学知识和有战斗经验的干部，是不能担任和完成这种严重指挥任务和补给任务的”。
第九，关于巩固国防和国防建设的若干措施问题。他在这项工作中，主要是对新中国建立以后军事工作所遇到的几项迫切问题，提出一些原则的要求。这就是：国防部队与公安部队的分工问题；国防工程构筑问题（包括海防、边防的防御阵地，机场、码头、营房、各类基地、医院、军用铁路、公路、通信设施等）；兵工生产的计划和储备问题。
第十，关于党委领导和首长负责问题。这是在这次会议以前许多人认识上都不够明确的一个问题，包括彭德怀自己，在1953 年上半年也有过实行“一长制”的想法。经过一段研究之后，他才在报告里明确规定：“在组织方面，应按照毛主席历来的指示，根据党委员会集体领导和首长个人负责相结合的原则，采取在党委统一（集体）领导下的首长分工负责制”。并且对这一制度的含义作了详细的解释。
从以上十个方面的问题，不难看出这次会议承前启后的重要历史作用。
彭德怀报告之后，聂荣臻代总长就全军的组织编制定额等问题，作《关于组织编制问题的总结》报告，张宗逊副总长作军校与军训工作的报告，总政治部副主任肖华作政治工作的报告，总干部部副部长赖传珠作干部工作的报告。刘伯承、贺龙、陈毅、叶剑英作了重要发言。
1954年1月26日，彭德怀代表主席团作会议总结，他的第一句话就是：“这次会议是我军历史上一次划时代的会议。”他列举会议最主要的几项收获是：明确了军事建设的总方针和总任务，明确了建设现代化军队的道路；明确了现代化军队建设中长期的、经常的中心工作是训练部队，特别是训练干部；开展了热烈的批评和自我批评。在中国人民解放军由低级阶段进到高级阶段的重要转换时期，这次会议起到了统一思想、整齐步伐的作用，成为全军正规化现代化建设的实际开端，解放军在发展史上进入新历史时期。