彭德怀一、七团和军直属队退出平江城后，向东乡龙门转移。沿途受到农民的热烈欢迎，他们把红军看作是自己的救星，是自己的好兄弟。农村的房屋经反动派的反复“清乡”，大部被烧毁，农民仍尽量腾出房屋给红军宿营，说：“不能让自己的军队露宿淋雨。”彭德怀第一次听到农民这样对待和称呼自己的部队，倍感亲切。他由衷地感到，决不能辜负民众的期望，一定要把这支部队保存下来，使其发展壮大，为中国人民解放事业做出贡献。
为在政治上建设红五军，彭德怀等决定部队暂驻龙门，进行整训。首先建立了五军政治部，由党代表滕代远兼主任，张荣生任副主任。然后，从军部到连建立了党代表和党的各级组织。支部建立在连上，加强了部队的政治思想工作，也加强和健全了士兵委员会工作。连队和机关一起开展群众工作，大家拎着灰桶刷写标语，拿着宣传筒宣传党的政策。
起义以前，部队一直驻扎在城镇，到了农村，环境艰苦，常受敌追击要爬山过坳，夜晚行军。有的人愿意革命，就是吃不了苦，起义后看到群众的亲切关怀，看到首长的以身作则，又通过整训提高了觉悟，便逐步习惯了农村生活，逃亡现象大大减少，全军士气高涨。
红五军退出平江，湖南省主席兼清乡督办鲁涤平、清乡会办何键急电张辉瓒、刘铡、朱耀华说：“现虽收复平城，而残众尚未扑灭，其逃窜于各乡镇者为数尚多”，“暴动事实时有所闻。近向浏东逃窜，企图联络朱毛，再次猖獗”，①如在月底予以“彻底肃清者，即给奖金3万元，以示酬庸”，而“剿办不力”者，则“定予从严撤惩，决不宽贷”。在重赏兼督责下，湘军10余个团在平江、浏阳集结，向红五军扑来。
彭德怀吸取守卫平江的教训，避免同优势敌人硬拼，挥师江西，攻占修水，消灭守军一个营和民团二三百人。在修水建立了临时县工农兵苏维埃政府，坚持9日。南昌当局调一个团及两个步兵营来袭，红五军放弃修水城，经铜鼓退守平江黄金洞。
这时，中共湖南省委指示红五军避免与敌主力部队作战，设法与井冈山红四军取得联络。彭德怀、滕代远遂率部向浏阳、万载边界进发。
9月6日，红五军南下至万载时，遭到鲁涤平部两个团的袭击，上井冈山的计划未能实现，在平江、修水、铜鼓边界一带休整。一面派工作队发动群众进行土地革命，建立苏维埃政权；一面在部队中进行整顿，清洗反动军官，吸收表现坚定的人入党。根据五军军委决定，五军取消团、连番号，编为5个大队和1个特务队。
随后，彭德怀、邓萍率4个大队向鄂南通城、通山、九宫山地区发展，由于未找到地方党，从九宫山一带又返回平江黄金洞。途经渣津时，歼灭江西朱培德一个宪兵营和当地地主武装。
在与敌人周旋的过程中，彭德怀总结了硬拼失利的教训，改用“同敌人打圈子、打推磨(盘旋)仗”战术，“经常跳在敌人侧后方，使敌摸不着头脑，弄得敌人疲惫不堪”。他体会到：“在反革命高潮时”，“只有领导下决心与群众同甘苦，同生死，集中力量作盘旋式的游击才能渡过难关”。②“中国交通道途不便，尤其是西南各省多山，我们的部队轻便、行动敏捷，敌则反之”。“敌人兵力较少，我就打他，较多我就避免”，“这是我们多次得来的经验”。③这与毛泽东的游击战术思想可谓不谋而合。
红五军在撤出平江后的3个月游击战争中，打了许多次仗，消灭了大批敌人，攻占过铜鼓、修水等10余个重要县镇。这是红五军所经历的最为艰难的时期之一。在这3个多月的转战中，减员1000余人，张荣生、李力英勇牺牲。张荣生弥留之际还说：“共产党的事业一定会胜利。”由于环境险恶，一些意志薄弱者或投机分子，也相继离队或叛变。原独立五师一团二营营长、后任红五军四团团长的陈鹏飞虽同情工农，但委实忍受不了那种艰苦，彭德怀并不强留，听其告别回家了。四大队队长李玉华假传军长命令，以打民团为名拉着全队逃跑了。最严重的是一大队队长雷振辉(起义前为三营营长)的叛变。雷振辉与李玉华串通一气，李叛逃后，彭德怀命人将雷监视起来。翌晨，队伍集合出发前，彭德怀讲话，雷振辉突然夺过警卫员薛洪全的手枪，对准了彭德怀。千钧一发之标，身材魁梧的新党员黄云桥，一手扳倒雷振辉，一手拔枪，将雷击毙。许多人几乎惊呆，彭德怀面不改色，继续讲话说：“3个月的转战，我们受到很大损失，我们的处境是艰险的，但我们起义是为了革命，干革命就不能怕苦、怕流血牺牲，今天如果谁还想走，可以走”。“就是剩我彭德怀一个人，爬山越岭也要走到底!”④彭德怀坚定的目光，斩钉截铁的语言稳定了队伍，—声号令出发，没有人离队。
10月，滕代远以湖南省委特派员名义，在铜鼓幽居召开湘鄂赣边5县(平江、浏阳、修水、铜鼓、万载)县委和红五军军委联席会议，总结经验教训，研究进一步开展斗争的计划。彭德怀在会上主张红五军要以井冈山为榜样，反对乱烧乱杀的盲动主义和宗派主义。会议决定建立中共湘鄂赣边界特委和根据地，征调几个中心游击队与红五军合编，组建成3个纵队和1个直属特务大队(共11个大队)。会议选举滕代远为边界特委书记，彭德怀为特委委员。
会后，彭德怀、滕代远率一、三纵队向南进发，准备与红四军取得联络；黄公略率二纵队留湘鄂赣边界坚持游击战争。南进部队800余人，沿途发动群众打土豪，组织游击队，红军也得到补充。转战中，红军指战员衣服褴褛不堪，也无钱无暇缝制冬衣，就穿着打土豪没收来的各种式样的衣服。队伍中有戴礼帽的，有穿马褂的，有穿呢大衣的。形色各异，信念则一——上井冈。
彭德怀后来回忆说：早在1927年冬，他就注意了井冈山。平江起义胜利后，就想“打通湘东与赣西朱毛取得联络”，“造成罗霄山脉整个的割据，促成湘鄂赣粤四省的总暴动”⑤。他认为，在同拥有现代化交通运输和通讯联络手段的敌军作战，没有根据地是不行的，而建立根据地，又必须实行耕者有其田的土地纲领；在实践上解决了这个问题的就是井冈山。他非常敬仰毛泽东，决心以朱毛红军为榜样，还想亲去井冈山“取经”，弄清革命的性质，分田的办法等。起义后，他率领红五军不畏千难万险，转战数千里，突破敌人的重重围追阻截，历时近5个月，终于实现了上井冈山同朱德、毛泽东会见的愿望。
井冈山位于湖南、江西省交界处罗霄山脉中段，1927年10月，毛泽东率领秋收起义部队来到这里，开创了全国第一个农村革命根据地，逐步开辟了以农村包围城市、最后夺取城市的中国革命道路。1928年4月，朱德、陈毅率领南昌起义保留下来的部队和湘南农军来到宁冈与毛泽东的部队会师，建立了工农革命军(后改称工农红军)第四军，为中国工农红军的第一支骨干部队。
朱德、毛泽东获知彭德怀部队南进，派何长工和毕占云率200余名战士下山，到莲花城北大山中隐蔽等待，迎接红五军。11月下旬，红五军于莲花城北九都与前来迎接的红四军何、毕率领的部队会合，两军相见，分外喜悦。在何长工带领下，彭德怀部经三湾、古城到达宁冈县城，与红四军胜利会师。这时，朱德已经下山等候。在宁冈新城的城隍庙红军驻地，彭德怀与他久仰的红军创始人朱德第一次见面。
彭德怀第一次和毛泽东会见，是在宁冈县茨坪一家中农的住房里。彭德怀走进屋内，看到一个身材颀长的人向他伸出手，和自己一模一样的湘潭口音热情地说：“你也走到我们这条路上来了!今后我们要在一起战斗了!”⑥从说这句话起，便开始了他们之间长达30余年共同战斗的历史。
毛泽东向初上井冈山的彭德怀仔细讲述了他对中国革命道路和前途的看法：为什么必须建立革命根据地，红色政权在中国得以存在的独特原因，中国目前进行的民主革命和社会主义革命的关系等等。这些问题，恰恰是彭德怀在起义后遇到而又没有解决的问题。当时红五军中有些人对民主革命和社会主义革命区别不清，把消灭封建剥削和消灭资本剥削等同视之，在政策上对地主和对资本家也等同视之。彭德怀觉察到这些是错误的，但未能从理论上作出说明。毛泽东的一席话，使他顿开茅塞，给他留下终身不忘的印象。
12月11日，广州起义一周年，在新城召开庆祝两军胜利会师大会。毛泽东、朱德在大会上讲话，热情欢迎红五军。彭德怀在讲话中称红四军是五军的老大哥，号召五军指战员向四军学习。
大会进行得正热烈，忽然讲台坍了，队伍中顿时议论纷纷，有人说这预示不吉利，怎么刚刚会师就坍了呢?只见朱德军长微笑着站到台架上，大声说，不要紧，台坍了搭起来再干嘛!大家听了一起鼓掌，又恢复了热烈的情绪。
这个偶然的事故和朱德不怕台坍的讲话对彭德怀影响至深，以后他几次在斗争的最艰危时刻引用这件事和朱德的讲话，来鼓舞部属和自己。“台坍了，搭起再干”!成了他的战斗铭言。
大会结束后，红五军把在万载筹集的款物，赠送给物资供应更困难的红四军。
红军两大主力会师，进一步壮大了井冈山的武装力量，蒋介石的国民政府大为不安，调动湘赣两省6个旅，约3万兵力，以湖南省主席鲁涤平为总指挥，何键、金汉鼎为副总指挥，分5路向井冈山革命根据地发动大规模“会剿”，声称要把红军“一网打尽”，把井冈山“夷为平地”。
湘赣两省“围剿”军队对井冈山实行了严密的封锁，红军的物资供应更陷入极大的困难。时近隆冬，天寒地冻，有的指战员还穿着单衣草鞋，每人每天3分钱的伙食也不能维持，此时生活之艰难，如红五军军委向湘委的报告所说，是“言之痛心，念之酸鼻”。
1929年1月上旬，红四军前委、中共湘赣边界特委、红四军、红五军军委以及中共各县县委领导人在宁冈柏露村举行联席会议。在这次会议上，彭德怀第一次听到传达中共中央的文件。毛泽东传达了中国共产党第六次代表大会的决议案后，对当时存在的乱烧乱杀的盲动主义的危害作了分析，强调对“反水”(指因对乱杀乱烧作法不满而对我持不合作态度)的群众持争取教育态度的重要性。毛泽东的群众观点和政策思想给彭德怀以深刻的印象。会议讨论了形势，决定实行“围魏救赵”的策略，由红四军向敌人后方赣南进军以解井冈山之围和解决红四军的给养问题；还决定将到达井冈山的红五军一、三纵队暂编为红四军三十团(习惯上仍称红五军)，由彭德怀任红四军副军长兼任三十团团长，滕代远任红四军副党代表兼任三十团党代表，留守井冈山。
会后，红五军党委连夜开会，彭德怀传达联席会议决定。委员们大感意外，说此次上井冈山本为与四军取得联络，现在任务已经完成，五军就应当返回湘鄂赣边苏区，不然在那里坚持斗争的二纵队会遇到很大困难，也会影响苏区的发展。彭德怀和滕代远向委员们解释说，现在大敌当前，应以保存红军主力和革命根据地为重。彭德怀和滕代远还说明，是我们自愿将自己的部队编入红四军的，是自愿留守井冈山的。最后，大家放弃返回湘鄂赣边界的要求，愿意承担起守山重任。
1月14日，红四军撤离井冈山。湘赣两省“会剿”军队动用两个旅(后又调回一旅)尾追红四军。同时，以其大部兵力从永新、莲花、酃县向井冈山推进。1月26日，向井冈山根据地发起总攻。
时已严冬，连日阴沉，雨雪交加。守卫井冈山的红五军800战士，在凛烈的寒风中，以轻武器和每人10余发子弹，凭借新修筑的竹钉阵和土木工事，抗击20倍于己的敌人的进攻。守卫在黄洋界、八面山、桐木岭、朱砂冲阵地上的红军战士与来犯之敌展开激战，击退了敌人的多次进攻。29日进攻黄洋界的敌军，收买一个游民带路，沿山间小路偷偷窜进金狮面、棍子凹，从哨口右翼爬上山，黄洋界告急。
彭德怀在茨坪指挥井冈山保卫战，得知重要。哨口黄洋界失守的消息，立即带领教导队和红军学校学员向黄洋界跑去，组织三次反击，均未成功。这时又接到八面山失守、白泥湖告急的报告，彭德怀考虑到，如果继续坚守硬拼，不仅不能阻止敌军前进，而且会全军覆灭，于是决定收拢队伍突围。
当日，彭德怀和滕代远按中共湘赣边界特委1月14日会议的决定精神，率原红五军大部及伤病、勤杂人员七八百人，集合在茨坪，向荆竹山方面突围。部队在陡峭的山峰上，用马刀砍倒树木开路，步履艰难地攀行。彭德怀干粮袋丢失了，两天没吃一粒米，和战士一道迈着沉重的步伐寻路突围，终于越过敌军的包围线，到达荆竹山。
突围第3天，红军在大汾圩遭敌军三面埋伏。彭德怀把队伍集合起来，对大家说：“大汾圩是我们突围出去的最后一道难关。我们一定要下决心打过去，只要坚决、勇敢，就一定能够冲过去。冲过了这个难关，本军长是有办法的！”广大指战员深信彭德怀的指挥，一阵猛烈冲锋，突破了敌人伏击阵地，主力冲出了敌人最后一层包围。不幸的是非战斗人员被敌人截住，一部分牺牲，余者分散潜回井冈山继续坚持斗争。
井冈山守卫战虽然失利，终于拖住了来犯敌军的大部分兵力，掩护了红四军顺利地向赣南转移。
彭德怀率领原红五军继续向赣南前进，在敌军的追击堵截下，越过上犹、崇义，在南康章水上游渡河，2月9日(农历腊月30日)到达新城。地主乡绅正在悬灯结彩，大摆筵席，辞别旧岁。红军一到，他们逃匿一空。红军经过10多天的激战，长途跋涉，饥疲已极，正好饱餐一顿，祝贺突围成功，迎接新春。
新城离粤赣公路不过三四十里，渡河哨口有电话，如果敌军得知后扑来，夜里12点就可能到达。考虑及此，彭德怀催促干部：吃过饭离开此地，走出5里也好。但部队实在太累，都不同意，要休息一下，拂晓再走。彭德怀说：“过去敌军不敢轻率，现在他们打破了井冈山，气焰高涨，劲头很大呀!不能不提防。”还是说服不了大家，连党代表滕代远也不同意走。
夜深了，爆竹声渐渐稀落，极度疲劳的红军战士沉沉入睡。彭德怀回忆起井冈山突围后的险恶历程，连续同敌人拼死搏斗的一幕幕场面驱走了他的睡意，独自在外为士兵执行警戒。
约摸子夜时分，枪声突起，彭德怀急令号兵吹号，部队刚在村外集合，粤军范石生部已扑来。彭德怀决定向信丰方向前进，命贺国中殿后掩护。天明查点人数，仅剩283人枪，李光所率一支部队全部未到(后知李部夜间迷失方向，误入广东南雄地区，被敌消灭，李光被俘遇害)。
部队经信丰东进重石镇，继而去兴国，寻找地方党。在莲塘和东山小憩。赣军刘士毅旅一个营又跟踪来攻，红五军乘夜突围，得知雩都城仅有刘士毅旅一个营驻守。彭德怀决定奔袭雩都城，即率部出发，18个小时走了140里，夜半抵县城，架梯带头爬上城墙，直向敌人营房推进，敌人毫无准备，束手被擒。原红五军以283人枪俘敌六七百人，活捉了县长，筹措了军款。夜袭雩都打击了敌人的气焰。赣南群众称彭德怀的部队是长了翅膀的神兵。
在长时期持续行军中，彭德怀总是背着个旧皮包和一个装有军用地图的伞袋，和战士肩并肩地走在一起。他非常关心战士的情绪，在休息时常问大家：“怎么样?苦不苦?”战士听了军长的问话，立刻精神振奋起来，愁苦疲劳一扫而光。
攻下雩都城后，彭德怀估计敌军主力一定会回城救援，下午便撤出县城，渡河抵小密宿营，与地方党取得了联系。滕代远在雩都负伤，同20余名重伤员留下休养。红军送给地方党百多支枪，后发展成为赣南独立团，成为红六军的一部。不久，彭德怀在安远从报纸上得知，红四军在汀州消灭福建省防军暂编第二混成旅2000余人，击毙该旅旅长郭风鸣，遂改变返回井冈山的计划，率红五军掉头向东北，一举击溃靠近福建边境的瑞金城守军，占领了瑞金县城。
4月1日，红四军从福建长汀开至瑞金，红军的两支主力实现了第二次会合。
朱、毛、彭3人相见，互道分军后的战斗情况。毛泽东和朱德已经得知井冈山失守的消息，听了彭德怀的叙述，沉默良久，毛泽东说，这次很危险，不应该决定你们留守井冈山。这话使彭德怀深感毛泽东襟怀的坦荡。
两天后，彭德怀去红四军军部，毛泽东将中共中央2月7日从上海写给毛泽东和朱德并转湘赣特委的信递给他看。信中认为革命处于低潮，红军不可能在农村集中存在。要求红四军分散组成小部队，藏匿于群众中，进行游击。各边境工作“必须与目前党的中心任务、中心工作相适应”。来信中还有一个重要决定：要朱、毛两人离开部队去中央工作。
这就是说，朱德、毛泽东不但要离开红四军，而且要离开苏区。彭德怀十分震惊，认为中央的决定欠妥，尽管他入党时间不长，还是觉得有必要直接写信给中央，遂于4月4日，亲笔写出他参加党以后第一封给中央的信。信中首先报告平江起义后红五军在湘鄂赣边界转战的经过和教训，汇报了引兵上井冈山和突围的经过，总结了平江起义的缺点和红五军守卫井冈山失利的原因。接着说明：“在反革命高潮时不宜分兵，分兵则气虚胆小”，“因红军不是本地人，又不全是好党员，即平日是好党员，到危急时也(想)不出办法，以致被消灭，这是非常危险的”。他认为，“这种严重时期，只有领导者下决心与群众同辛苦、同生死，集中力量作盘旋式的游击，才能渡过难关，万万不能(采)藏匿躲避政策”。信中还分析了民国初年农民起义军首领白朗失败的原因，说明对有党的领导、群众帮助并在山区进行游击战争的红军，敌人虽多，也是没有办法的。
彭德怀给中央的信很简短，但旗帜鲜明地支持毛泽东的战略思想，不同意中央来信基于对形势的悲观估量而做出的关于红军行动策略的“不切实际的想法”。
4月8日，红四军前委扩大会议在雩都召开。会议根据军阀为争夺地盘而激战的状况，决定了红军的行动方针。其后，前委根据彭德怀的提议同意原红五军(此时，红五军与新组建的红军独立团改编为红四军第五、第六纵队)返回井冈山，恢复湘赣边界，巩固和扩大罗霄山脉中段根据地，并向粤赣边界发展，与闽西相联系，配合红四军各部建立湘赣闽粤根据地。
前委扩大会议后，彭德怀率原红五军出发，又经小密。这时，寄居在这里休养的伤病员均已痊愈，滕代远也恢复了健康。战友重聚，非常高兴，滕代远叙述他们在这里帮助群众建立政权，组织游击队的成果，又介绍了群众对他们尽心照顾的情况。
彭德怀满怀信心地说：3个月的事实说明，困难到了顶，就是转变的开始。只要我们团结、坚决，不动摇、不涣散，就能战胜困难。在向小密群众致谢和话别后，滕代远等归队重新踏上征途。这时红五军从283人枪又恢复到800余人。
彭德怀和滕代远率领红五军经信丰、崇义、上犹、遂川等地，于5月2日抵达宁冈茅坪。井冈山遭到敌人的严重破坏，到处是断垣残壁，疟疾流行，人口不到2000，生活必需品奇缺，一派劫后凄凉景象。为了抚慰受害群众，红五军发给每人1块银元，以救燃眉之急。
井冈山人民是坚强不屈的。他们冒着生命危险，在白军占领的日子里坚持斗争。区县两级党政组织基本上保存下来，当时因被敌人分割未能同军部一起撤退的二大队李灿、张纯清部和王佐特务营也都保存下来。彭德怀与坚持斗争的战友重新会见，感到无比欣慰。只有守卫八面山哨口的四大队，听说在突围后脱离苏区至湘东一带被敌人消灭。彭德怀一直关心该部的情况，直到1955年，才在一次偶然的机会里，遇到了当年的大队政治委员李克玉，得知还保存下来一部分同志。
5月中旬，彭德怀和滕代远一起出席于宁冈古城召开的中共湘赣边特委第四次扩大会议。会议确定从发展中恢复和巩固井冈山根据地。会议进行中，赣军金汉鼎部两个团从永新瀚江和宁冈新城两路向古城进攻。当时由于敌情不明，五军又刚改编，为保存实力，彭德怀率红五军和王佐特务营向湘东游击。后又从湘东向南相继攻占广东境内之城口、南雄，缴获100多支枪和10万来发子弹。因想到井冈山群众正遭疟疾之苦，缺盐缺穿，用所筹之款购买了大批奎宁、盐和布匹。
7月初，彭德怀回师井冈山。中旬，参加中共湘赣边特委、永新县委、红五军军委联席会议。会上特委书记邓乾元和与会的多数人主张夺取安福。
唯彭德怀独持异议，分析敌情说：安福城虽然不大，但城墙高，又很坚固，不易攻克。我一旦攻城，敌必定从永新、莲花、吉安三面来援，而我力量较敌薄弱，无力打援，可能陷入被动。
后来彭德怀在回忆这场争论时说：“争论的结果，他们是全体，我是完全孤立的一个人，就采取少数服从多数，决定了一次非常错误的行动，几乎全军覆灭。”⑦
不出彭德怀所料，红军向安福城进攻。在离城约30里的红福桥和敌军刚一接触，敌军便向城内撤退，红军尾追至城下，始发现该城有重兵坚守。为避免遭敌夹攻，彭德怀率部沿原路撤退，在行军途中遭三面援敌的伏击。幸黄云桥率一个大队，冒敌火力网拼死冲人敌阵，后继部队也随着呐喊向前扑去，将敌阵地打开缺口，杀出一条血路，突出敌围。
这次战役，红军伤亡300余人。纵队长贺国中、参谋长刘之志英勇牺牲，纵队长李灿和9名大队长负伤，给英雄的红五军造成难以弥补的损失。战斗结束，彭德怀坐在路旁石头上为牺牲的战友和士兵痛哭。
红五军在彭德怀的指挥下，在一年多的艰难战斗中，锻炼得日趋成熟，已成为一支在中国共产党领导下的新型的人民军队。它走过了曲折的道路，积累了以少胜多，以弱胜强的经验，为人民战争的理论和实践作出了贡献。
① 《湖南全省清乡总报告书》，1928年。
② 《红五军军委关于平江暴动前后情况和经验教训向湘委的报告》，1929年10月。
③ 《彭德怀同志给中央的信》，1929年4月4日。
④ 《李聚奎回忆录》，载《中共党史资料》第16辑，第106页。
⑤ 《滕代远同志向湖南省委的报告》，1929年1月。
⑥ 彭德怀：《第三次简历材料》，1970年。
⑦ 彭德怀：《第三次简历材料》，1970年。