由刘伯承和邓小平领导的晋冀鲁豫军区的部队，组成左翼破击队、右翼破击队和总预备队，对正太路西段的片山旅团和越生虎之助独立混成第九旅团各一部展开攻击。8月25日，除少数据点外，正太路西段已基本被八路军控制。日军立即组织反扑，驻阳泉的片山旅团派出一千五百多人，进攻八路军的狮垴山阵地，持续激战六昼夜，最后狼狈而归。
贺龙率领第一二○师等部队二十二个团的兵力，破击同蒲路大同至阳曲段和汾离公路全线，阻止日军向正太路增援。
百团大战第一阶段延续二十多天，到9月10日，共歼灭七千多名日伪军，攻克九十一座日军据点，破坏三百多公里的铁路和七百多公里的公路，同时缴获大批军事物资。
接下来，八路军发动了东团堡之战。9月22日，晋察冀军区杨成武的一分区部队向涞源城发起攻击。一夜激战，第一团攻占了城关东、西、南三面，大部守敌退进城内防守。第二天夜晚，八路军在炮兵配合下，猛攻日军碉堡，冲进村庄，歼灭了全部守敌。第三团则集中兵力攻击东团堡。
东团堡守敌是日军士官组成的井田部队，抵抗非常顽强，不断向八路军施放毒气。打到24日夜晚，八路军把村子周围的堡垒全部攻下了，残敌退进村子里，死守几间房屋，继续施放毒气。八路军伤亡很大。
25日黎明，日军撤到村边。八路军再度发起猛攻，同日军展开白刃战。日军支持不住，还是不愿投降，将据点内所存的武器、物资和粮食全部纵火焚烧，然后跳火自荆
东团堡的歼灭战，让日军涞源警备司令小柴俊男不寒而栗，痛心疾首。聂荣臻说：“东团堡之战，是以顽强对顽强的典型战例，充分显示了我军的战斗力，对敌人震动很大。”
晋冀鲁豫军区的部队，从9月23日至10月3日，刘伯承师主力发动了榆辽城役，攻克榆社城和榆辽公路沿线的各个日军据点。为配合这次战役，冀南军区部队与太行和太岳部队，对各交通线展开连续破坏，并袭入长治机常
百团大战第一和第二阶段的作战，给日军以沉重打击，使华北日军陷入大混乱，伪军和伪组织摇摇欲坠，沦陷区人心振奋。多田骏急于扭转局势，匆忙拼调兵力，集结十几万人，在飞机和大炮掩护下，以坦克开路，于10月初开始进行报复性“扫荡”，企图消灭八路军的主力，摧毁抗日根据地，恢复交通线。八路军以反击日军的报复性“扫荡”为中心，构成了百团大战的第三阶段。
9月31日，辽县日军四百多人猛攻狼牙山，刘伯承师新编第十一旅第三十二团在这里阻击日军，使日军损失惨重。日军正面攻击不成，便迂回到主阵地侧后攻击，上午10点突破狼牙山阵地，实现了西援的企图。
战役结束后，刘伯承找第三十二团团长宗书阁、政委李震和副团长周明国谈话，传授打阻击战的方法。他说：阻击战有两种打法。一种是占领阵地，摆开决战架势，大量杀伤敌人，迫使敌人展开主力，与我军决战。待敌人主力展开，我军则迅速转移阵地，在新阵地上阻击杀敌。这样反复多次，节节抗击，达到杀伤和迟滞敌人的目的。另一种打法是组织正面防御，大量杀伤敌人，同时派出部队迂回侧击，迫使敌人后退，同我军侧击部队作战，使敌人主力无法迅速前进。这两种打法才是积极防御。
10月6日，日军片山旅团和井关仞第三十六师团各一部近一万人，对太行抗日根据地的榆社、辽县和武乡区进行连续“扫荡”。14日，刘伯承师新编第十旅一部在和顺到辽县公路旁的弓家沟设下埋伏，歼灭了一支日军运输队，击毁四十多辆日军汽车。
日军冈崎大队五百多人于26日从黄烟洞西进左会和刘家嘴。29日夜，刘伯承指挥第三八五旅、第三八六旅、新编第一旅及决死一纵队等部队，将冈崎大队包围在关家垴高地。30日早晨，总攻开始。在关家垴及其附近另一高地凤垴顶，双方展开激战。
日军飞机轮番扫射轰炸关家垴地区，八路军异常勇猛，迅速突破日军防御阵地，将冈崎大队压缩在一个小地区，展开肉搏。少数残存日军逃到一个台地上，据险固守。台地四周开阔平坦，边沿峭岩壁立，日军在壁沿挖了不少猫耳洞藏身。八路军多次进攻，都没有奏效。刘伯承命令部队朝洞里扔炸弹，用燃柴朝洞里熏烟，想尽办法消灭日军。
这时，凤垴顶的日军向攻击关家垴的八路军侧射，产生严重威胁。刘伯承多次组织反击，遏制了日军火力。31日下午，日军增援部队赶到，八路军主动撤出战斗。这一仗，共歼灭日军二百八十多人。
几天后，刘伯承带领部分干部回到关家垴，实地察看“猫耳洞”，对大家说：“别小看了这小小的招式，凭我们现有的武器还真难对付。这个办法，我们也可以学习嘛。”从此，八路军又学到了一招。
11月17日，日军井关仞师团、田道盛武第四十一师团和越生旅团各一部七千多人，分路对太岳抗日根据地进行“扫荡”，所到之处都遭到八路军沉重打击，日军于12月上旬分途撤退。
到1940年12月5日，八路军粉碎了日军的报复性“扫荡”，百团大战胜利结束。
百团大战中，八路军得到民众的热情支持。寿阳县景上村自卫队员王蝉余等三人，在火线上冒着日军密集的火力抢救伤员，第一个上去牺牲了，第二个上去牺牲了，第三个上去终于把伤员抢救了下来。