聂荣臻说：“这次必须打好，打出八路军的威风来”
广灵和灵丘的失守，凸显出平型关的重要。中国军队撤退到平型关一线，扼守日军从灵丘进攻雁门关侧背的必经之路。9月22日，板垣师团先头部队到达平型关，与中国军队展开激战。第二天，板垣的主力赶到，向公路两侧高地进攻。高地上的中国守军只有两个连，经过一夜苦战，全部牺牲。
24日，傅作义率领两个旅赶到平型关，与日军激战一整天，伤亡惨重，丢失了几个高地。第二天拂晓，傅作义组织反击，恰遇日军发动进攻，反击部队无法前进，反被日军击退，团城口、鹞子涧等险要阵地被日军占领。激战到中午，陈长捷师赶到，中国军队趁势再次反击，夺回鹞子涧等高地。
这段时间，林彪率八路军第一一五师先头部队第三四三旅进抵大营镇，迅速派出侦察分队，查明平型关地区的情况。
平型关，是恒山和太行山交接处形成的门户。两山夹谷，纵贯一条通道，就是蔚县至代县的公路。它从灵丘城伸出，沿唐河河谷西行二十公里，经东河南镇，在蔡家峪村脱开河谷，转向西南平型关山区；再前行两公里，从小寨村入狭沟，到老爷庙出口，全长四公里，沟深十到三十米，宽十到二十米。从灵丘到平型关这三十公里的路段，分为三种地形：灵丘城至蔡家峪村的二十公里是河谷川道；从蔡家峪村开始，有两公里路段的地形变得复杂，尤其是小寨至老爷庙的四公里路段非常险要；老爷庙至平型关的四公里路段，地形又变得开阔。显然，小寨至老爷庙的四公里，非常适合打伏击。这一带地形狭长，进入的部队和火器都无法展开，攻守两难，如同钻进风箱里的老鼠。
林彪一眼就看中了这个地方。随后，他又带人来察看这一段地形，发现关沟至东河南镇十三公里的地段，沟深路窄，地形非常险要，两侧高地便于隐蔽兵力、发扬火力和展开突击，是打伏击的理想战常种种情报向林彪表明：日军骄横狂妄，疏于戒备，利用平型关东北的有利地形设伏，出其不意，歼灭从灵丘向平型关进犯的日军，配合友军作战，是完全可行的。他命令陈光的第三四三旅从大营镇前进到平型关东南的上寨地区隐蔽集结，进行战前准备；同时命令正在沿同蒲路北上的第三四四旅迅速向平型关地区靠拢。
22日，板垣师团三浦敏事的步兵第二十一旅团一部，从灵丘向平型关进犯，占领了东泡池地区。第二天，八路军总部命令第一一五师向平型关和灵丘之间机动，侧击这股日军。
同一天，聂荣臻带领徐海东的第三四四旅赶到上寨。他对林彪说，部队都上来了，要林彪谈一谈敌情和备战情况。林彪告诉他：日军的大队人马正向平型关方向运动，这里地形不错，可以打一仗。随后，林彪摊开地图，和几位参谋一起，把平型关周围的地形和初步的作战设想做了介绍，征询聂荣臻的看法。聂荣臻同意在这里打一仗。他说：“在这里居高临下，伏击敌人，是很便宜的事。全国人民都看着我们，这次必须打好，打出八路军的威风来，给全国人民的抗日情绪来一个振奋”
这样，平型关作战的初步方案大致确定下来。但是，第一一五师来不及向上级报告，只能由前线指挥员定夺了。
第一一五师的作战方案，本来没有必要向阎锡山通报。当时八路军划归阎锡山的第二战区，但中共有言在先，八路军的行动是“独立自主”的，八路军进入山西以后的行动，用不着跟阎锡山打招呼，阎锡山有什么想法，可以直接与太原的八路军办事处联系，或者由八路军总部转达。不过，这是国共军队第一次共同抗日，出于礼貌，林彪还是派人把作战计划通报了阎锡山手下的第三十三军军长孙楚。
林彪和聂荣臻于23日在上寨召开了全师连以上干部会议，进行战斗动员。林彪讲了师部的决心，命令独立团和骑兵营在灵丘和涞源方向活动，扰乱日军后方，牵制和打击日军增援部队；命令陈光旅的两个团担任主攻，徐海东旅一个团到平型关北面断敌退路，一个团作为师的预备队。攻击部队全部在平型关东侧山地设伏，准备给日军以猛烈打击。会议结束后，师部率主力于当晚开进平型关以东的冉庄和东长城村地域。
24日，第二战区杨爱源的第六集团军给林彪送来《平型关出击计划》，拟定以第七十一师加上新编第二师及独立第八旅一部，配合第一一五师向平型关以东的日军出击。
同一天，第一一五师的主要指挥员在林彪和聂荣臻带领下，再次勘察平型关地区，确定了在平型关东北关沟至东河南镇道路两侧高地，利用居高临下便于隐蔽和突击的地形，采取一翼伏击的战术，歼灭从灵丘向平型关进犯的日军。勘察过程中，更加详细地规划了兵力部署，明确了各部队的具体任务。
他们决定，陈光旅第六八六团占领小寨村至老爷庙以东高地，实施中间突击，分割歼灭沿公路开进的日军，然后向东泡池方向发展进攻；第六八五团占领老爷庙南面至关沟地域，阻击东泡池的日军回援，然后协同防守平型关的国民党军队，夹击东泡池日军；徐海东旅第六八七团占领西村、蔡家峪和东河南镇以南高地，断敌退路，并阻击从灵丘和浑源方向过来增援的日军；第六八八团为师预备队。