同时，第四军分区和第三军分区部队也在潴龙河与子牙河地区袭击日军“讨伐”队。4月16日，第四军分区一部在王力地区歼敌三百多人。25日，日军派一千多人合击驻白塔的八路军第三十团，全团官兵激战一整天，歼敌两百多人，跳出合围圈。随后，第四军分区军民作战十多次，歼敌六百多人，迫使日军于5月下旬撤回原防。第三军分区在子牙河地区作战二十多次，歼敌七百多人，攻克九处据点，迫使敌军在5月下旬撤回原防。至此，日军的全面“扫荡”被粉碎。
5月份，刘伯承和邓小平指挥八路军破击白晋铁路沿线的日军据点。第三八五旅旅长陈锡联奉命攻克白晋线上的重镇南关。
在山西省武乡、祁县和平遥三个县交界的峡谷里，白晋铁路从南到北通过南关镇。日军在这里驻有两百人的加强中队，还有伪军两百人。镇口有两座坚固的堡垒，沿街的房屋经过改造，设有密集的火力点，地下还有地道相通。
陈锡联带着团、营干部，化装侦察了敌情和地形，命令第七六九团用“腹地开花”和内外结合的打法攻克南关。
5月5日，在夜色掩护下，第三营首先潜入南关，一直摸到镇内的大街上，才被敌军发觉。战士们猛烈开火，镇外的第一营和第二营也发起攻击。第三营沿大街和敌军逐屋争夺，渐渐把敌军压到日军司令部的一所房内。第二营从碉堡夹道中冲入镇内，会同第三营攻克日军司令部。第二天清晨，战斗结束，除少数日军从地道逃走，日军中队长峰正荣以下大部分被歼。与此同时，白晋破击战正式开始，经一日两夜，破坏铁路几十公里、大小桥梁五十多座。
同一个月，八路军鲁南军区决定将1939年冬天成立的活跃在鲁南敌后铁路线上的抗日武装，正式编成八路军铁道游击队。6月，又扩编成大队。洪振海任队长，杜季伟任政治委员，王志胜任副队长。下辖四个队，每队十多人。成员主要是枣庄地区的矿工和铁路工人。
铁道游击队以微山湖为中心，活跃在津浦铁路、临枣铁路和台枣铁路三条铁道线上，打票车，劫货车，截击军车，扒铁轨，炸桥梁，破坏日军的铁路运输。他们还担负新四军过往人员的掩护任务，维系着从山东通往华中的重要通道。当年的铁道游击队员刘知侠，后来写作了一部小说《铁道游击队》，生动地再现了这段战斗历史。
7月份，鲁南军区要求铁道游击队设法搞资金，解决部队的困难。几位队领导一商量，决定打日军的票车。他们找到跑连云港的伪车队长，问到了日军票车的运行规律：每星期六，铁路沿途各站都通过这辆车向济南交钱。于是，他们派人化装侦察，摸清了日伪军押车的情况。队领导选出十二名作战勇敢的队员作为先遣队，先潜入列车上侦察情况，选择目标，稳住敌人；王志胜带二十名精干短枪队员在预定地点设伏；洪振海和曹得清负责干掉司机，掌握火车头。
到了星期六，铁道游击队开始行动。先期上车的队员们盯上了各自的目标，列车过了枣庄站，洪振海和曹得清就跃上火车头，打死一名司机，把另一名司机捆起来，自己驾着火车行进。列车一到预定伏击点，猛一刹闸，车速放慢，王志胜带领队员爬上车，与车上的先遣队配合，全歼押车的二十多名日军。随后，他们来到最后一节车厢，将装钱的袋子一一抛下。这次行动共得款八万多元，缴获短枪八支、长枪十二支、手炮一门和机枪一挺。铁道游击队无一伤亡。
铁道游击队打完票车还不过瘾，决心再打枣庄的洋行。他们在8月的一天开始行动。洋行戒备森严，王志胜却有办法让洋行的日本三掌柜金山陪着他对洋行进行了侦察。他回队后介绍了情况，大家决定当天就行动。晚上10点钟，王志胜带领三十二名队员来到洋行附近，不碰墙上的电网，在墙上打洞。凌晨4点，墙才钻透。进去的人分为四个小组，各奔预定的目标，将四个房间的日军全部干掉。这次行动杀死十三名日军和一名翻译，缴获长短枪六支、手表和怀表一百多块。
冀中地区经过了春季的反“扫荡”，便进入麦收季节。冀中军民准备保卫麦收，破坏交通，封锁据点，袭击抢粮的日军。
5月下旬，衡水和安家村的敌军四出骚扰，威胁麦收。30日，马本斋派一个中队袭击安家村据点，其余部队埋伏在路边袭击去安家村增援的日伪军。中午，衡水据点出动援敌三百多人，走到康庄以北，回民支队将他们全部歼灭，缴获了加农炮和掷弹筒等武器，仅“三八大盖”就够装备两个连。
6月6日，马本斋得到情报：五百多名日伪军将于上午9点向永清东北的张庄进犯，企图围歼掩护群众麦收的八路军特务大队。回民支队迅速抢占张庄有利地形，等待这支敌军到来。上午11点，日伪军来到张庄附近。回民支队和特务大队据险抗击，歼灭日伪军近百人，挫败了他们的企图。从6月1日到25日，冀中军民保卫麦收作战四十多次，歼灭日军五百多人，伪军三百多人。
八路军第一二○师在1940年2月接到总部命令，从晋察冀边区返回晋西北。不久，遇到两万名日军“扫荡”。贺龙决定，先集中兵力歼灭进犯日军的一部，再分散游击，迫使日军撤退，然后集中兵力再在运动中歼灭日军一部。