黄杰带着第二师连夜赶到古北口接替防务。关麟征师撤走后，古北口的日军不再发动进攻，黄杰师就在南天门与日军形成对峙。
目空一切的日军，进攻长城受阻，便改用侧面包抄的战术，在长城东段南侧的滦东和南天门交替发动进攻，威胁中国军队的侧背。在日军猛攻下，冷口和喜峰口相继失守。不久，关东军为了配合日本特务头子板垣征四郎策反张敬尧在北平起事，命令西蒙师团“对古北口以南之敌进行攻击”。他们决定首先集中兵力击破中央军，进一步对蒋介石施加压力。
日军出动之前，先派飞机轰炸了黄杰的第二师师部驻地石匣镇。隔一天，又轰炸徐庭瑶的军部驻地密云城。再隔一天，西蒙师团一个大队，在当地汉奸带领下，偷袭南天门左侧制高点八道楼子。黄杰说，穿皮靴的日本兵无论如何爬不上这些碉堡，只派了一个连防守。这个连的官兵，仗着地势险要，也放松了警惕。结果是，一夜之间，八座碉楼全被日军占领，令黄杰大为震惊。他用电话向徐庭瑶报告八道楼子失守，徐庭瑶说：“你们怎样失守，你们就负责怎样收复”
黄杰马上组织反攻。罗奇的第六旅实施反攻，没有奏效。郑洞国的第四旅四次实施反攻，仍然没能夺回。日军利用居高临下的有利地势，向南天门阵地中央据点四二一高地多次发动猛攻，都被黄杰师打退。黄杰师苦战五昼夜，伤亡极大，部队疲劳不堪。徐庭瑶连忙派刘戡师接替南天门阵地的防务。
两天后，天还没亮，日军集中火力向南天门附近的三七二高地和四二五高地射击，步兵分三路纵队猛扑过来，刘戡的部队和日军激战八个昼夜，双方都有很大伤亡。刘戡师虽然放弃了主阵地，但战线仍然胶着在南天门附近，大出日军意料之外。
日军经过短暂休整，发动更大规模的进攻。七十多门火炮，配合飞机和坦克，向守军阵地轮番轰炸。激战一天后，守军的魏巍团长身负重伤，汪兴稼副团长阵亡，士兵伤亡达到三分之二。全师伤亡太多，致使防线崩溃。刘戡命令部队撤离阵地，南天门完全被日军占领。刘戡眼见得全师官兵在一昼夜之间蒙受惨重的损失，还是保不住阵地，悲愤失控，拔枪企图自杀，被部下夺去手枪，自杀未遂。
前方将士浴血苦战，国民党政府对于抗日却非常消极，甚至训斥主动出击的几个师长，企图取消河北境内的义勇军。南天门守军正在激战的时候，何应钦已向日军探询求和的条件。日军为了逼迫国民党政府接受屈辱的条件，5月上旬派出坂本师团和西蒙师团，越过长城，向关内的河北东部发动大规模的进攻。渡过滦河向西进犯的日军，如入无人之地。在西线的新开岭地区，徐庭瑶军的刘戡师和黄杰师，与日军西蒙师团主力轮番激战，然后奉命撤退。
徐庭瑶的中央军节节撤退，频频告急，从南天门撤到石匣和密云，北平岌岌可危。何应钦急调傅作义的第五十九军，从张家口开往昌平集结待命。一百多公里路程，傅作义军只用二十四小时就赶到了。
傅作义到北平军分会报到，何应钦对他的行动神速感到惊奇。几天后，傅作义军从昌平开到怀柔城西的牛栏山一带，占领阵地，构筑工事。5月21日拂晓，日军西蒙师团的铃木旅团及川原旅团的福田支队，驱动十几辆坦克，在三十几门火炮和飞机掩护下，向第四三六团第十连阵地进攻。战士们英勇阻击，重创日军，从拂晓打到上午7点钟，全连包括连长在内，只剩下八个人。
日军占据了前进阵地，休整半个多小时，发起第二轮进攻。守军待日军进入射程后，用机枪扫射，投掷手榴弹。日军反复发动波浪式的冲锋，气焰凶顽。守军以硬碰硬，猛烈反击，守住了正面阵地。从下午1点开始，日军又连续七次进攻正面阵地，七次都被打退，死伤累累。
隔了一天，傅作义军抵抗日军的攻势，从拂晓战斗到下午6点，连续血战十五个小时。突然，傅作义接到何应钦的命令，要求第五十九军停火。傅作义不愿撤退，但又不能抗令，气得对参谋长大嚷：“这个仗打得太窝囊！牺牲了这么多官兵，他们以宝贵的生命换来的却是妥协停战，阵亡将士能瞑目吗？”然而，何应钦接连三次打电话催促撤军，长城抗战的最后一场恶战，就这样中止在投降派手里。
怀柔之战，傅作义军三百六十七人阵亡，四百多人负伤，打死日军三百四十六人，打伤六百多人。在呼和浩特市，至今还能看到一座“华北第五十九军抗日阵亡将士纪念碑”，镌刻了烈士的姓名，上面的墓志铭有这样四句话：
这里长眠的三百六十七个中国好男子！
他们把他们的生命献给了他们的祖国！
我们和我们的子孙来这里凭吊敬礼的！
要想想我们应该用什么报答他们的血！
傅作义军奉命撤退，到达怀柔和顺义两县以北。5月下旬，日军已经占领秦皇岛、北戴河、密云、遵化、唐山等二十二个县，进逼北平和天津，对北平形成三面包围的态势。
日军兵临城下，北平城内一片混乱。华北军事当局准备南迁保定。这时候，日本政府认为停战的有利时机已到，便提出举行谈判。国民党政府心甘屈辱妥协，接受日方条件，于5月25日开始停战。同一天，中共中央发表《为反对国民党出卖华北平津告民众书》。
5月31日，中国军代表熊斌和关东军代表冈村宁次，在塘沽日本陆军运输派出所签订了自袁世凯承认《二十一条》以后最严重的卖国条约《塘沽协定》。协定草案是冈村宁次提出的，一字不容修改，熊斌只能回答“同意”或“不同意”，这使人们想到了清末李鸿章与伊藤博文在日本的那场谈判。《塘沽协定》使冀东变成了“满洲国”第二，并将华北置于日军监控之下，为日本全面侵略中国提供了便利的条件。这个卖国《协定》，招来全国一片抗议声。在《协定》签订的第二天，中华苏维埃临时中央政府就通电反对。