彭德怀为建立中国军队的后备力量，解决“平时养兵少、战时用兵多”的矛盾，通过不懈地摸索、实践，创立了民兵与预备役相结合的制度，找到了适合中国情况的积蓄后备兵员的有效办法。但他的探索历程是相当曲折的。
早在1955年，彭德怀在全国人民代表大会上报告兵役法时讲：“志愿兵役制，在中国过去各个革命战争时期，对争取革命战争的胜利起了重要作用，也是当时唯一可行的优良制度。但是，由于志愿兵役制度缺乏定期征集和定期退伍的制度，已不利于积蓄强大的经过训练的预备兵员，已经不能适应目前军队建设的需要了。”
按兵役法规定，复员兵和适龄青年均需登记，编为第一、二类预备役，由省、市、县兵役部门负责组织领导，定期实行军事训练。这是学习苏联的办法。由于登记工作量大、表格项目繁多，对地方政府是一项庞大而复杂的工作任务。1956年3月31日，军委会议讨论了一个登记和训练计划，提出：“今年先搞几十万作试点，重点要放在实战应用训练上，不要搞形式。训练的时间也要尽量缩短，每年可以训练10天，每天训练6小时，每人每天发给一角至一角五分的伙食补贴。”
计划讨论后，彭德怀于4月1日批发的国防部指示中又特别说明，登记预备役的工作“各地可以根据具体情况，分期、分批逐步完成，在完成的时间上不强求一致。条件较好的地区，在今年、明年两年内完成，条件较差的地区，可以推迟到1958年完成，不能进行的地区，还可以暂不进行”。
尽管如此，指示下达后，不少地方政府仍感到执行起来难度很大。6月10日，邓小平把河北省委向中央汇报工作时说地方工作任务重、时间紧，最好把预备役登记工作推迟一年的意见和毛泽东表示同意一事写信给彭德怀考虑。彭德怀在6月20日给邓小平的信中说：“4月1日国防部发出的指示中，规定得是很机动的”，但“为了照顾地方工作任务繁重的情况，国防部准备再发一个补充指示，把军官、军士和兵的预备役登记工作一律推迟到1958年完成”。补充指示发出后，预备役登记工作在一些地方实际上停顿下来。彭德怀己感到，这一积蓄后备兵员的办法不能解决我国的问题，必须作很大改进才行。
为了解决这个问题，还采取过组建预备师的办法。1955年6月15日，彭德怀在军委会上传达毛泽东的指示说：“为应付突然事变，光靠常备军不行，要搞国民训练，成立预备师，就地训练，训练后解散，必要时集中，好处很多。”会议责成黄克诚主持同各总部研究提出方案。8月14日，彭德怀签发了先组建10个预备师的命令。规定预备师机构组成后，集训4个月；于1956年2月15日接收新兵，4月1日开始训练，期限为一年半。
预备师开始训练后，显露出不少矛盾：预备师的待遇是否相同于正规师的标准？而且组建这么多预备师，突破了全军原定350万的总定额。
就在这时，毛泽东在《论十大关系》中讲，第二个五年计划中，把军费和行政费用限制在国家总开支的20％左右。并在9月的第八次全国党代表大会上通过。彭德怀在军委会议上说：“怎样使国家军政费用降至国家财政的20％？军队是否应继续缩减？这件事我同林彪同志商议过，军队原定额是350万，去冬今春突破定额达到380万。”接着又说：“搞预备师是错误的，此事虽经集体讨论决定，但责任在我，算是犯了一个小错误。”
“现在看来，钱用的很多，也妨碍群众生产，行不通了，所以10个预备师要取消。”
1957年5月30日，军委会议检查兵役法实行后的情况和存在的问题，彭德怀说：“毛主席同我谈过几次，要把义务兵役制改为志愿兵制，我都没有表示态度。因为这是一个需要慎重处理的问题。”叶剑英说：“我去缅甸访问以前，主席找我去谈，也说依靠义务兵积蓄后备力量，不能解决问题，每年最多80万人，100年才能积蓄8000万人，跟不上战时补充和扩大部队的需要。”会上研究了义务兵役制实施的情况，大家认为工作进行顺利，做法稳当。缺点是登记18至30岁男性公民和有技术的女性公民3327万人，面太宽，手续过于繁杂，费力不小，作用不大等等。彭德怀听取大家的意见之后说，“平时常备军如何尽量少，而战时又如何尽量多，要解决这个矛盾，义务兵役制和募兵制都解决不了这个问题。1955年9月我到汕头，同南澳岛驻军团长交谈过这个问题，今年3月又到舟山作了调查，都说必须把民兵和预备役结合起来。民兵要分为一般民兵和基干民兵，把每年复员的士兵编入基干民兵作骨干，同18至25岁的基干民兵一起进行训练，每年打一次靶，要求能作班排动作。按这个方法训练1200万至1500万后备兵员，预计第二个五年计划内可以达到”。
6月19日，彭德怀把会议上大家讨论的意见，整理成《中央军委关于改进兵役工作的指示》，报送毛泽东，并亲笔写了一封信。翌日，毛泽东批示：“同意。”并送给政治局常委传阅后下发全国。
民兵与预备役合二为一的原则就这样正式确立下来了。直到1959年庐山会议他受批判时，还担心去职后这项制度会被废弃。
1954年9月9日，彭德怀同刘伯承率军事代表团，应邀赴苏联参观原子弹实爆的军事演习，同去的有粟裕、陈赓、许光达、刘亚楼、邓华、陈锡联、宋时轮、周希汉、王尚荣。在演习总结会上，苏联国防部长布尔加宁把一个精美的包装盒赠给彭德怀，内中装有飞行员投原子弹的金钥匙。会后代表团的成员们争相传看，陈赓说：“光给一把钥匙，不给原子弹有啥用？”彭德怀说：“你是军事工程学院院长，咱们还是自己干吧！”
彭德怀去苏联之前，8月20日，请物理学家钱三强到他的办公室，为他讲解原子弹、氢弹的构造原理和生产方面的问题，还交谈了中国研制原子弹的条件。钱三强说，生产原子弹原料，反应堆比气体扩散方法省力，但应先建一个试验性原子反应堆准备条件。
新中国建立5周年，苏联赫鲁晓夫、布尔加宁率代表团来参加庆祝盛典。同时与周恩来为首的中方代表团（成员有陈云、彭德怀、邓小平、邓子恢、李富春）会谈。会谈前彭德怀对李富春说，要把建造试验性原子堆的问题，提请苏联帮助。宁可削减别的项目，这个堆一定要争取尽早建起来。
1955年1月15日，毛泽东在中央书记处扩大会议上，听取李四光、钱三强和刘杰汇报发展原子能问题。彭德怀也参加了这次会议。会上决定从各方面努力把这一工作开展起来。2月18日，彭德怀在向毛泽东书面报告1954年的军事工作中，提出“要逐步研究和争取生产核子武器”。
1955年5月，彭德怀去柏林、华沙返国途中在莫斯科停留，赫鲁晓夫接见时，主动提出可以看看他们的核动力潜艇，随后安排彭德怀和随行人员去列宁格勒访问波罗的海舰队。彭德怀在旗舰上检阅了仪仗队，受到隆重接待。舰队司令满口答应第二天即去参观核潜艇，可翌晨却说“核潜艇已出海”。彭德怀有些气愤，但也知道这并非当地驻军领导所能决定。经交涉后苏联方面又说可以到塞瓦斯托波尔去看，到后又说“黑海舰队没有核潜艇”。彭德怀对此非常愤懑。两次碰壁，使他对独立自主发展本国一切武器的信念，更加坚定不移。6月3日，他回到北京，向毛泽东和中央汇报东欧之行。中央为加快发展核能事业，7月4日决定由陈云、聂荣臻、薄一波负责筹划并组织实施。
中国留美著名科学家钱学森在1955年10月回国。彭德怀同中央领导人欣感钱学森回来对发展中国的火箭事业是一个有利条件。12月中旬，陈赓向彭德怀建议：军事工程学院有一些懂航空、火箭的专家教授，也有教学仪器设备，最好邀请钱学森去参观一下，听听他对研制中国火箭问题的意见。彭德怀说：“这个意见很好，如中央同意即可安排。”
12月中旬，钱学森到哈尔滨，会见了在军事工程学院的一些老同学。陈赓趁机向钱学森提出中国研制火箭的条件和可能性，并鼓励专家们提出建议。钱学森回北京后，彭德怀邀请他来商谈，陈赓陪同。彭德怀请钱学森考虑一下，在中国现有条件下，研制射程300至500公里的火箭需要多少时间？向钱学森说明当前中国急需的是解决防空火箭和海岸对海上目标的火箭。钱学森说，如果只是能够发射的火箭，那用不了很长时间，费时间的是发射出去后的控制系统。彭德怀说，当然要同时解决这个问题才行。正在这时，哈尔滨军事工程学院火箭专业教授会的任新民、周曼殊和金家骏等3人，向国防部提出研制火箭的建议。彭德怀和黄克诚看后，批交总参装备计划部长万毅征询钱学森的意见。钱学森表示，射程300至500公里的火箭，弹体及燃料有两年可解决，但这仅是20%，还有80％的自动控制问题，如果没有苏联或其他国家的资料，靠中国现有条件从头研究，可能要将近10年的时间。研究工作不宜设在军事工程学院，因为要有大的靶场和专用设备，试验中还要准备出危险。
彭德怀同钱学森商谈时，请他为驻京军事机关干部作有关火箭问题的报告，钱学森欣然答应，在元旦前后，讲了三次。1956年2月27日，钱学森提出了《建立中国国防航空工业的意见书》。第二天，周恩来即批示：“印发军委各委员和黄克诚。”彭德怀看后说：“这件事情，军队不仅可以出人，而且可以出钱。”3月6日，彭德怀在军委扩大会议上，作了保卫祖国的战略方针的报告，其中专题讲了“我们必须积极着手研究我国尚不能生产的新式武器（如核子武器、导弹和其他新式武器等）的设计制造问题”。“为开展此项工作，我军的军械部门和各技术兵种必须逐渐建立自己的军事技术研究机构。建议在国务院或国防部直接领导下积极筹建航空和导弹的研究机构，并准备筹划核子武器的研究机构”。
聂荣臻是军委分工主管军工生产和军队装备的，本来还在休养，当时的健康状况虽然刚刚好转，但他受命主持“两弹”研制任务后，雷厉风行，加班加点，不到一个月的时间，先是提出一个《关于航空工业委员会工作问题》的报告，接着又提出《关于建立我国导弹研究工作的初步意见》。周恩来看过这个报告，同彭德怀商定，尽早由军委召集会议进行讨论。
5月26日上午，周恩来准时来到国防部办公大楼会议室，亲自主持会议。参加会议的人，除聂荣臻外，还有彭德怀、钱志道、赵尔陆、李强和军队系统的有关干部。周恩来针对问题的核心，一针见血地提出，中国导弹研究的方针，应当“采取突破一点的办法”，不能等待一切都具备了才开始进行。接着，他解答了会上提出的一些具体问题，并指定专人及部门负责办理。关于招揽聘请专家，他说：“国内国外凡是可以吸收来做这项工作的专门人才，都应当设法吸收招聘，请宋任穷同志负责组织一个小组，专门落实联系人才和搜集技术资料的工作。”关于组织机构，他同意成立导弹管理局作为办事机关，调任钟夫翔为导弹局长。关于所需房舍，他指定由肖向荣召集薛子正、安东及国务院机关事务管理局局长具体研究，提出解决方案。最后他还特别叮嘱，建立导弹研究工作所需要的技术专家和行政干部，都可以由工业部门、高等学校、研究机关和军队系统抽调，要注意做好思想工作，要说服更多的人都来为研制导弹贡献力量，军队更要起模范作用，要人要钱，首先拿出来。
周恩来刚讲完，彭德怀马上接过他的话头说，搞导弹是要花很多钱的，但花钱再多也一定要搞，军队在这方面有所准备，可以拿出钱来补助政府开支。
从1956 年5月开始，导弹研究院、原子能研究院以及电子、航空、舰船等研究院、试验基地以及军内科研机构陆续组建起来，干部都是挑选最优秀的，经费、设备、器材均优先保证。经过两年多的建设，科研和试制机构都初具规模。为加强统一领导，集中力量攻关，聂荣臻同彭德怀商议，认为应把原来建立的国防部第五部同航空工业委员会合并，组建“国防科学技术委员会”。经157次军委会议讨论通过，上报中央得到批准，由聂荣臻任国防科学技术委员会主任。
1959年6月29日，在彭德怀上庐山参加中共中央政治局扩大会议前夕，苏共中央来函，借口同西方国家谈判禁止核武器试验，而中断若干原定援助中国的项目，单方面撕毁了两年前的协定。由于来信的时间是59年6月，因之“五九六”就成为中国原子弹的工程代号，激励着科技工作者奋发努力。1964年10月16日，被罢官了5年之久的彭德怀从新闻广播中听到中国原子弹爆炸成功的喜讯，同在吴家花园的工作人员、警卫战士们一齐欢呼起来。核爆炸的秘密，被中国的钥匙打开了。1966年10月27日，中国的导弹核武器试验成功的消息公布后，又使彭德怀为军事防御能力的增强，感到莫大欣慰。
彭德怀根据中共中央“全面规划、加强领导”的精神，在草拟战略方针报告时，除对战略战役后方建设计划提出要求外，还开始挤时间去现地勘察。1956年1月，他利用疗养的机会，对陕西、四川、云南战略大后方进行了巡视。1957年秋天，到张家口、大同、太原和石家庄，研究首都周围的防卫工作。1958年，他又到四川、贵州、湖南、湖北、江西、安徽以及东北和西北地区作了考察。这几年他每到一个地区，都着重对战略后方的某些问题加以研究和安排。1957年动员军官家属还乡，也是这项工作中的内容之一。
1957年7月，总后勤部长洪学智向军委写了一份《关于随军家属增加情况的简要调查报告》，反映军队从战争时期转入和平时期，由于实行薪金制时没有对军官结婚和家属来队加以限制，致使1955年以来随军家属、小孩和保姆人数猛烈增加。据统计，在1956年第一季度，全军随队家属、小孩和保姆已有33万多人，到第四季度即剧增为60多万人，相距仅9个月，几乎增加一倍。在军事机关和学校里，军官和家属的比例，一般的达到1:2左右；在野战军里也接近1:1。由于家属、小孩激增，给部队带来一系列的难题，如住房紧张，医院不够用，儿童入托、入学困难，家属找不到工作，影响军官的工作和学习，军官调动工作顾虑重重等。更严重的是给部队行动造成累赘，影响战斗意志，遇到战争情况很难进行疏散和安置。报告的最后部分，提出了几个解决问题的方案。
彭德怀阅后，感到这是一个有关战略后方的重要问题，立即批交军委会议加以讨论。在会议上，大家认为这个问题提得非常及时，这些问题给领导工作带来的麻烦比正常业务都伤脑筋。彭德怀说，这确是一个影响重大的问题，但又是一个很复杂的问题，可以先把这份报告印发给正在开会的大军区组织部长会议讨论一下，然后确定解决办法。
8月12日，彭德怀在北京军区副司令员郑维山陪同下到张家口、大同、太原和石家庄视察。主要是研究战争时期确保首都北京的安全问题，同时也考察了军官的随队家属问题。
对于随队家属问题，彭德怀在大同、太原和石家庄的驻军直接了解了情况，同驻军领导商谈了解决办法。在大同的一个军部里，他到军官宿舍和家属进行了交谈。
一天早晨，他穿着便衣，一边散步，一边要服务员带他来到军官家属大院。军官们都出操去了，家属们有的在做饭，有的站在门口没事干。彭德怀便走到一个家属跟前同她攀谈起来。“还没有做饭吗！”他随便地问。
“我们是从食堂打饭，自己不做。”她答。
“你是哪里人？"
“保定府的。”
“嗬！大地方的！”彭德怀为了减少她的拘束，故意开了一个玩笑。
接着他便问她，在家乡干过什么工作，来部队住多长时间了，今后是长期住这里还是很快就回去等。另外还问了左邻右舍的一些情况。
这天上午，彭德怀同该军的领导干部谈了在战备工作上要注意的问题后，便同他们研究随军家属的问题。这个军随队的家属小孩约为军官人数的70％多，地方上群众对此也有些不好的反映。彭德怀要求他们对这个问题从战略上来考虑：现代战争是原子条件下的战争，是突然袭击，家属问题解决不好，一打起来就会闹出大的乱子，老婆哭，娃娃叫，部队怎么能拉得出去。他提出一个办法说，在大同附近有很多荒地，军队可以投点资搞军营农场，譬如组织10户20户家属到那里开垦一点土地，种点粮食，喂点猪，养点羊等。三、五年内逐步发展，使她们有点事干，逐渐把家安在那里，离开营房，情况就会好些。还有些家属本来就是农村来的，应当鼓励她们回农村去参加生产。军官可以每年回家住个把月，家属也可以来住个把月，一年有两个来月在一起，比牛郎织女好多了。地方上两地分居的干部也不过如此，多数军官和家属是会照顾这个大局的。
9月中旬，他在军委会议上谈了这个想法，大家赞成。后来他又在中共中央八届三中全会上作了汇报。11月间，陈毅主持军委会议，讨论并决定以总政治部名义发出一个《关于动员家属还乡参加社会主义建设的指示》。这一文件的基本思想是按彭德怀的意见草拟的，文件中也规定了可以留队随军家属的条件。此时彭德怀已去苏联访问。文件下达后，全军很快出现了一个家属还乡的高潮。12月彭德怀回国后，又研究确定校官家属可以留队，当时80万户随军家属中校官仅占3万户。到1958年1月中旬，仅仅3个月的时间，全军随军家属还乡的已达30多万户。彭德怀在1958年7月军委扩大会上说，在青海建设家属根据地，战争来了，第一线部队的家属可以输送到那里去。9月，他回顾军官家属还乡问题时说，对军官家属的规定，要离开前线、离开营房、参加劳动生产的原则是正确的。但在实际处理这一工作时，对于驻在后方的机关部队的情况照顾不够，对于参加生产的多种可能性考虑不够，偏重于“还乡生产”一种方法。有些远在后方的单位，本来有条件就地安置生产的，也一律送回原籍了。也有少数家属回到原籍后，因为一时无法安置，生活困难，又向部队倒流。他又说：“在组织军队参加劳动生产的时候，也就可以同时考虑军官家属的安置。凡是现在还未安置，或者安置不当的，除了参加到公社中去劳动以外，军队开办的各种农场、工厂和副业生产都应当优先吸收家属参加。在前线担负战斗任务或流动性大的部队，也可以师、团为单位将家属集中起来，在军队后方组织农副业生产。使这些军官家属就在那里安家落户，军官子女就在那里入托、入学、参加劳动。这样，比较复杂的家属问题，也就可以大体上解决了。
关于战略后方的工作安排，彭德怀计划还要解决战时内地的防轰炸和反空降等问题。为此他在军委工作的7年中，己走遍大陆的绝大部分省市，拟逐省考察后进行专题研究和工作部署，只有广西和西藏两个自治区作了安排而未能成行。由于1959年8月他在庐山会议上受到错误批判，被免去国防部长职务，不得不忍痛离开军队，中断他对战略后方安排的工作计划。