1952年11月13日，彭德怀在军委例会上传达中共中央的一项重要决定。他说，在昨天的政治局会议上，中央已经确定，军队在1954年1月要准备实行征兵制度、薪金制度和军衔制度（后来又增加颁发勋章、奖章制度，合称“四大制度”）。他解释说，实行这些制度，对我军来说，是一项重大改革，也可以说是“我国当前国防建设的根本起点”。军委应当召开专门会议详细讨论一下具体准备工作。
几天过后，彭德怀便召开了准备工作会议。会场上的气氛异常活跃，大家争先发言。从当时的发言纪录可看出与会者的心情： “如果不是抗美援朝战争，这些制度早该实行了。”“现在我们有了全国政权，我们的军队己是名副其实的国家常备军，再不能象过去那样，上级既不发武器弹药，又不发薪饷粮袜，一切东西都叫部队自己想办法去解决了。” “新中国建立以后，军队同外国的来往一天天多起来，没有军衔实在不方便。1951年开始在板门店同美国人谈判，人家有军衔，我们没有军衔。为了和对方平起平坐，只好临时给谈判代表安上一个头衔，叫某某将军，某某上校，往后总不能一直这样干吧！”“战争年代，军队干部不结婚，大家没有话说。长征时，当军团长的都不结婚，下边干部自然更不敢去想。可到了后来就不行了，解放战争末期，军队一住下来思想问题就多了。当时对干部结婚严加限制还有道理可讲，现在军队干部跟地方干部去比，连限制结婚的道理都不好讲了。”
大家对于军队实行几项制度改革，不仅一致赞扬，而且表现出异常的迫切感。
讨论到最后，彭德怀说，大家的意见很对，我们有些旧的制度不改革，已经不利于今后军队的现代化建设和应付现代战争。但是，要建立这些制度，首先要收集资料，研究情况，起草条例等，工作量很大，涉及问题很多。这些工作须由各主管的业务部门负责去做。为了加强领导，军委决定聂荣臻担任军衔实施委员会主任、兵役法委员会主任和编制委员会主任，黄克诚担任薪金委员会主任，张宗逊担任勋章条例委员会主任，贺龙负责军服样式和军衔标识符号的研究审定。
最初，大家对于这些制度的改革，包括彭德怀自己，设想的进程都比较快速，后经深入研究，意识到这些制度的改革牵涉很广，而且又相互联系。实行义务兵役制和颁布兵役法，应当以宪法的规定作依据，但是当时中华人民共和国的宪法还在草拟中，尚待召开全国人民代表大会讨论通过，兵役法的颁布要在宪法之后。而不实行义务兵役制，则军队的薪金制也不便付诸实施。因为军队实行薪金制的是军官和工薪制职员，义务兵仍然需要实行供给制，即只发给少量津贴费。可是当时部队由于长期战争的原因，许多排长（军官）与副排长、班长、老战士等士兵相较，无论在资历方面，还是在革命贡献方面，并无很大差别。如果排长拿薪金并按照规定允许结婚，而对副排长、班长和老战士这些志愿兵的实际情况不加考虑并作适当处理，就会引起很多矛盾，难以解决。而军队的薪金制如果不能及早实行，则军队中广大干部的结婚问题和赡养亲属等问题，又都难以解决。
因此，选择最适当的次序，争取尽早实现这些制度改革，解开这个连环扣，在当时就成为彭德怀必须解决的难题。彭德怀认为，最迫切需要的，是把供给制改为薪金制。他说：“现在团、营、连干部很困难，非解决不可，薪金制在明年的征兵制前后搞，军衔制也是有联系的，急需办的是薪金制。”在这之前，军队的官兵，全部是供给制。而在地方上，只有在新中国成立以前参加工作的党政干部是供给制。新中国成立以后，政府部门中的留用人员和各种行业中的职工都是薪金制。这种供给制与薪金制并存的状况，不仅在地方党政系统中造成许多不合理现象，而且对军队的干部也产生很重的影响。周恩来总理在1949年12月全国农业、钢铁、航务会议上讲：“现在还不能把供给制改为薪金制，原来是薪金制的也不能改为供给制。两者比较，收入是不平等的，但我们不能不要求实行供给制的同志多忍耐些，政府知道他们的家庭困难，也正在设法解决一些必须解决的困难。”
彭德怀急于把军队的供给制改为薪金制，也是这方面的原因。他在1953年9月8日给毛泽东的报告里说：“不实行薪金制，则广大的下层干部生活已难以维持，亦难以巩固在军队工作的意志（一个营长的伙食加津贴48万元，只等于火车上一个新参加的乘务员的薪金，等于一个较好的雇用炊事员的薪金，低于汽车司机的薪金）。供给制不废除，则各种标准制度都难以确立，一切均以人口计算，且对干部缺乏约束和鼓励的作用。”熟悉部队情况的彭德怀，对于下层干部的困难深为关切，焦急之情，溢于言表。薪金制条例，在1954年初高干会讨论后，经过反复修订，已趋成熟。但因老兵未作妥善安排和处理，仍不能施行。于是彭德怀同聂荣臻等商讨后，在1954年7月20日向中央提议，在兵役法颁布前，可宣布老兵在3年内分批复员完毕，老兵有了指望，就会安下心来。中央同意了这个意见，国务院和军委又就安置无家可归的老兵问题发出指示，老兵的思想问题可获解决。随后经中共中央和毛泽东批准，11月19日由彭德怀签发国防部命令，宣布在1955年1月1日军队开始实行《中国人民解放军薪金、津贴暂行办法》。
彭德怀在建立军队薪金制的指导思想上，系本着低薪制的精神，本着有利于上下级之间和军民之间团结的精神。1953年1月2日，他对总后勤部提出三条原则：一、陆军排长的月薪不少于60万元，不超过80万元；二、各级之间不要相差太多；三、要照顾国家的财政能力和人民生活水平。
彭德怀提出薪金标准的起点，陆军排长月薪不少于60万元，不超过80万元，是经过调查研究的。当时地方上一个普通汽车司机的工资是60万元，城市每人每月的生活费一般是12万元，按赡养3至4个亲属计算，每月60万元并不算多，他在提出这个标准之后，还亲自向下边征求过意见。
彭德怀要求薪金的级差不要太大，要照顾国家财政能力和人民生活水平，更多的是从人民解放军的传统和政治影响来考虑的。他认为薪金制有巩固军官在军队工作的作用，有鼓励军官上进心的作用，但他更清楚人民解放军军官的上进心，主要是建立在政治觉悟的基础上的，提高政治上的自觉是主要的，用一定的物质鼓励上进只是辅助的。他在讲话中经常谈到，军队的薪金制度要符合社会主义“各尽所能、按劳分配”的原则，但这种按劳分配，在军队中还不是严格科学意义上的按劳分配，而只具有相对意义。彭德怀于1957年3月4日在总高级步校说，我们都打过仗，哪有一个人能打胜仗的，这要靠集体力量和集体智慧，夸大个人作用，强调个人大才，是唯心主义。他还经常提起那些在战争中牺牲的同志，他说，论贡献是他们的贡献最大，但他们既没有拿过薪金，又没有带上军衔。因此，他所主张的各级军官之间薪金的差额，以至于军官与地方干部之间薪金的差额，更着重于政治上的考虑，其目的是在于防止上级脱离下级，军队脱离人民，保持上下级之间的一致和军民一致的传统。
1955年1月薪金制实施以后的两年里，彭德怀一直注意着各方面的反应，考虑着薪金标准是否合理。1956年，政府系统调整了工资，相比之下，军队下级军官的薪金显得偏低，经过彭德怀的提议，从6月份起，正排级的薪金增加10%，从60万元增加到66万元，副连级至正团级各增加5万元，师级以上不变。到1957年1月，彭德怀提出军队中最高薪金与最低薪金的比例显得过大，上下悬殊，不利于发扬上下级一致的光荣传统，便确定从正师级到军委副主席，每级都作不同程度的降低，把军委副主席每月450元（现币），降至400元。大军区级降4O元，兵团级降23——28元，军级降12——19元，师级降5——9元。后来，在1959年3月，又根据中共中央决定降低国家行政三级以上党员干部工资标准的精神，把军委副主席每月400元再次降为360元。所以军队中最高薪金与最低薪金的比例，从7.5：1降低到6：1彭德怀每次谈及此事都流露出满意之情，这也是他的治军思想在物质利益分配方面的反映。
在彭德怀主持下，最后一次降低军官待遇，是1958年1月取消军官的多子女补助费。按原来军队的规定，军官在实行薪金制以前所生子女超过3个以上者，每多一个由公家每月补助20元。但后来党政系统普遍实行薪金制时，没有这项规定，为此军队也取消了这项规定。
彭德怀在讲到降薪问题时，曾经具体谈过他的想法。他说，他现在身为军委副主席，拿军队最高额的薪金450元，按购买力计算还抵不上他在旧军队当团长的薪金。在20年代，城市里一般每人每月有两元（银币）即可维持最低生活，当时他的月薪是240元，可以养活120人。而50年代按人民币计算，城市里一般每人每月最低也需8元维持生活，他的薪金加军龄补助共为585元，只能养活73个人。彭德怀认为，我们根本不应同剥削阶级的军官比，只应同劳动人民的生活去比。他感到军官的收入比人民的收入偏高了，因而一再提出降低高级军官薪金的要求。
“准备在适当时机实行义务兵役制”，这是新中国诞生前夕《中国人民政治协商会议共同纲领》上的规定。在周恩来主持军委工作的时候，就已开始为实行义务兵役制作准备工作。彭德怀到军委工作后，1952年10月在军委人民武装部成立了兵役法研究室，11月成立以聂荣臻为主任的兵役法研究委员会，12月12日由中共中央向全国发出指示，开展准备实行义务兵役制的宣传教育。
当时彭德怀认为颁布兵役法，实行义务兵役制，不会有什么拖泥带水的事情，进行起来是会很快的。他怀着一种争取早日实行的急切心情，在1953年元旦过后，1月2日就在军委例会上提出，8月1日可以颁布兵役法，到那时候就可追认去年冬入伍的新兵为第一期的义务兵。他在1953年9月8日写给中共中央和毛泽东的报告中说：“今年华北、华东动员新兵经验，提出‘二年轮换’口号后，在群众中动员顺利，新兵到部队后表现也很好（华东认为从来没有这样好带的兵）。相反的，参军年久的老兵，因为文化低、年龄大，提拔不成，考学不上，情绪反而低落，怀着很大不满，据此情况，应于1954年上半年颁布兵役法，1954年冬开始实行正规复员及征召适龄人员入伍。”对他的这个建议，毛泽东认为，兵役法应继续修订，待宪法颁布后方可公布。1954年9月，第一届全国人民代表大会通过宪法，确定实行义务兵役制度，到1955年7月第二次会议上，兵役法才正式通过。
彭德怀在准备实行义务兵役制的过程中，对200多万老战士复员问题异常关切，认为他们是部队基层骨干，有一些还是功臣模范，不应当将他们全部复员，更不可在一年之内全部复员；当逐步分批地用新战士顶替他们，其中有些可选拔入军校培养。有些因伤致残、积劳成疾或无家可归的，更需要给予特别周到的安排和照顾。
对于部队中大批老战士的安置，从中央人民政府一成立，就给予了很大的重视。鉴于中国历史上多次裁兵的教训，1950年7月，政务院和中央军委发出通知，设立中央复员委员会，周恩来兼委员会主任，地方乡以上各级政府和军队中的团以上都建立有相应的机构，从确定战士复员名单、集中学习、启程运送到移交安置，都作出细致安排。当时虽然国家财政和人民生活都很困难，但政府仍然从经济上给复员军人以最大限度的生活补助。到彭德怀主持军委工作时，全军已复员老战士115万余人，绝大多数反映比较满意。
开始实行义务兵役制时，彭德怀关心的另一件事情，是如何爱护广大青年要求参军的爱国热情。1953年7月朝鲜战争刚刚停下来，战争是否还会再起，在人们心里仍是一个问号。加上1954年7月23日《人民日报》发表《一定要解放台湾》的社论，军队要随时准备渡海作战，害怕战争不愿参军的大有人在。彭德怀对于部分群众的这种心理是理解的，他在1955年3月16日军委会议上说：“军队和地方对青年参军的热情要倍加爱护，因为现在不愿参军的人还很多。对青年要求参军的要有答复，登记后没有入伍的也要有个交代，下次征兵应享有优先权。”彭德怀要求他的办公室工作人员认真答复青年来信，有时他亲笔复信，帮助青年实现参军的愿望。
1954年11月8日，哈尔滨市有个叫董安第的青年，给彭德怀写来一封信，说“我在童年时代就有要当一个国防战士的志愿，在初中毕业后，我还是想当一个国防战士，保卫我国的神圣领土。可是当时不收新兵，没有实现我的志愿”，“甚至有时在睡觉中我还梦见自己当了国防军战士”。他说，当他“听到兵役法的宣传之后，更加坚决响应国家的号召，要当一个空军驾驶员，保卫我们神圣而伟大的祖国，誓愿把自己的青春和热血献给可爱的祖国”。信里还附有他的简历和健康检查表。
彭德怀看了这封信，立即把秘书叫去说，要用办公室的名义好好写一封复信给他。过了不久，董安第又写来第二封信，进一步表示强烈的参军愿望。彭德怀看后，又用自己的名义给董安第复信，恳切地写道：“你于十一月八日和二十九日的两封来信都收到了，前一封信，我已告办公室给你复信，该复信是十一月二十二日发出的，如果你尚未收到，请向邮局查问一下，大概不会丢掉。从1954年9月11日中央人民政府政务院公布征兵命令以来，有许多青年同志和你一样，来信要求参加国防军，要求参加解放台湾，保卫我国社会主义建设。你们这种要求，充分表现出全国青年同志的爱国主义精神，使全国青年同志都引以为荣，你们这种爱国热情是十分可嘉的。”在复信的后半部分，他对董安第个人的要求，作了具体的回答和安排，写道：“我对你一定要当一名空军战士的诚恳要求，表示热烈欢迎。你的来信，已转给兵役机关，要他们致函你的领导机关（编者注：当时董安第已在哈尔滨市参加公安工作），协助你到当地兵役局进行登记，并已转告空军部门，届时为你检查身体。祝你将来光荣地成为一个优秀的飞行员。”后来，经检查合格，董安第终于实现了当一名飞行员的愿望。
在军队实行的四项制度中，彭德怀对军衔制的思想感情是矛盾的。在建军作战需要上，军衔制是不可少的。1953年9月8日，他向毛泽东的报告中说：“军衔主要是确定每一个军人在队列中的地位和职权，以便按职责条令的规定，行使职权，同时又是国家给予军人的一种荣誉，以鼓励其在军队中工作和上进心。”在此以前，1951年国庆节的晚上，他在朝鲜指挥志愿军迎击美军“秋季攻势”的间隙，给毛泽东发电报提出国内应考虑的7项战备工作建议，其中有：“我人民解放军来自各根据地，许多具体制度不一致，目前统一教育（教材）、编制、纪律、内务规则、礼节已非常必要。长期无官阶制度，一时评定官阶是困难的，目前宜采取过渡办法，规定职务识别，在目前战斗中已感必要。”
但在他个人思想上，却对这一区别身份的标识，感到厌烦。他总担心这种形式会影响上下级之间政治平等的关系，担心妨碍军队同人民的亲密联系。在一些外事活动和隆重典礼的场合，按照军队条令规定都要穿礼服，每遇到这种情况，他都流露出很不愉快的情绪。他在同干部谈话和闲谈中曾多次说：“我这个人并不需要这个‘牌牌’，我也够不上什么元帅，如果要评的话，也很难说评个什么‘将’是合适的。但这不是个人问题，倘不评一些元帅，那就会使一些人难得依次评下去。”1959年6月1日，他在同阿尔巴尼亚国防部长巴卢库谈话时还说：“我不喜欢人家叫我元帅，这是战争的结果，是学人家的，我不喜欢肩上这两块牌牌，将来会没有的。”
全军高级将领评定军衔，是彭德怀花费精力最多的事情之一。在1955年军官评衔的时候，解放军已经走过了28年的战斗历程，高级将领各有自己的特殊经历，来自不同的革命根据地和方面军以及地区部队（东北抗日联军、海南琼崖纵队、两广纵队、陕北红军、云南填边纵队、新疆民族军等），即通常所说的“山头”。这些情况在条例中根本无法涉及，而在评定军衔时却又是绝对不能有所忽视的。否则，评衔的结果就达不到增强团结、提高积极性的目的。
元帅和大将的授衔名单，是由中共中央书记处提名，经过政治局审议确定，彭德怀只参加讨论发表个人意见。而1000多名将军，特别是其中几十名上将的授衔名单，则必须由彭德怀主持拟定，上报中央政治局。从1955年春天开始，彭德怀带着总干部部拟制的名单和几个方案，分别拜访每位“老总”同他们磋商每个高级将领的军衔，研讨那些带有争议人员的方案。对于少数有特殊情况的将领，彭德怀还直接和本人交谈，听取意见，提出组织上的考虑，消除思想上的误解，使其心情舒畅。
全军近百万干部的军衔评定，在罗荣桓的主持下，经过深入细致的工作，反复比较，综合平衡，进展顺利，效果良好。在1000多名将军中，授衔以后公开认为自己偏低的只有极少数人。还有自认为评得过高，主动要求降低的。装甲兵司令员许光达，被评为大将，他几次向中央军委写报告要求降低，彭德怀请他来当面解释，才答应接受，但是最后仍坚持自行降低一级薪金待遇。总干部部副部长徐立清，按条例规定应评为上将，在讨论名单时因需要减少上将名额，他即以自己是主办评衔工作的，不能“近水楼台”为理由，诚恳要求把自己降为中将。彭德怀曾几次找他谈话，但由于他一再坚持，最后还是改为中将。当时在正兵团级干部中，他是仅有的几名中将之一，其他都是上将。这些老将军不计较个人名利的高尚品德，为中国人民解放军全军干部树立了楷模。
在实行军衔制的过程中，对彭德怀不满意的，是一部分妇女工作人员。30多年以后，仍有人悻悻然。她们的意见主要是针对1955年初《国防部关于处理和留用妇女工作人员的决定》的。《决定》中有两条硬性规定，使她们感到特别不快。一是说，在军、师及其以下的机关、部队，除师属卫生营外，不论担任何种职务的妇女工作人员，应一律调离部队，分别按转业或复员处理，并限于1955年6月底以前处理完毕，“期限满后未处理者，停发薪金”。另一是，“在军以上机关或后勤部门，现在担任各种职务的妇女工作人员，凡不符合该决定所指的范围者，均应作转业或复员处理”, “至195 年12月31日止仍未处理完毕者，一律停止供给”。这里的“停发薪金”、“一律停止供给”两句，未免有伤感情。对于那些不适合授衔条件的女工作人员，早在1952年12月全军参谋长和政治部主任联席会议土，就已确定全军11万女军人，在1953年安排10万人离队，余下1万人在授衔前，根据不同情况，分别作出不同安排。到1955年初，经过了两年的思想教育和细致的工作处置，绝大部分女军人都己各得其所。彭德怀签发的那个《国防部关于处理和留用妇女工作人员的决定》，硬性规定限期处理完毕，便是在这样情况之下作出的。
彭德怀最珍贵的纪念品之一，是长期锁在保险柜里的一枚“一级红星奖章”。这枚奖章是1933年8月1日根据中华苏维埃中央人民政府7月11日的决议，作为红军中有特殊功勋的指挥员而授予的。
对于勋章、奖章制度的建立，彭德怀认为在军队建设中是必不可少的。1953年4月，副总参谋长李克农向彭德怀汇报许多默默无闻、忠心耿耿的情报工作人员的英勇事迹。彭德怀满怀深情地说：“这些同志都是无名英雄，可惜现在我们不能公开表扬他们，等到将来我军有了勋章、奖章制度，就可以奖励这些同志了。”这次谈话，显露出彭德怀认为建立勋章、奖章制度的必要。同年9月8日，在他给毛泽东的报告里，正式提出实行勋章、奖章制度的建议：“颁发勋章、奖章条例，以代替过去不很完善的立功条例。”毛泽东批准他的建议后，总干部部便开始了拟草勋章、奖章条例的工作。到1953年高干会讨论时，已先后15次易稿，于1954年11月报送中共中央审阅。1955年2月，全国人大常委会第7次会议通过了《中华人民共和国授予中国人民解放军在中国人民革命战争时期有功人员勋章奖章条例》、《关于规定勋章奖章授予中国人民解放军在保卫祖国和进行国防建设中有功人员的决议》以及《关于授予中国人民志愿军抗美援朝保家卫国有功人员勋章奖章的决议》。但后两个决议，因没有颁发相应的条例而未付诸实行。1956年2月，彭德怀视察武汉的一个军队被服厂后，在一次会议上还说过，“被服厂也有许多创造，我们在今年把新的勋章奖章制度搞起来，可以给他们发勋章奖章”。但是这项工作后来再未提及。因此，50年代的这项制度，实际上仅仅是一个开端。