黄河决口暂时阻挡了日军，却给民众带来巨大灾难。
日军大本营密切关注台儿庄战役，发现中国在徐州地区集结重兵集团，认为逮住了沉重打击中国军队主力的好机会。战役刚刚结束，日军就决定用华北方面军的四个师团向陇海沿线进攻，封锁兰封以东地区，切断中国军队退路，以主力南下，进攻徐州。日本华中派遣军派出三个师团从南面策应华北方面军作战。他们企图一举消灭中国军队主力，占领徐州要地和津浦铁路全线。
而中国方面，蒋介石决定扩大台儿庄战役的战果，将各战区精锐部队大批调往徐州，准备在这里同日军决战。第五战区的兵力增加到六十四个师另三个旅，约四十五万人。李宗仁将军队编为五个兵团，李品仙的淮南兵团下辖三个军，廖磊的淮北兵团下辖四个军，孙连仲的鲁南兵团下辖九个军，汤恩伯的陇骸兵团下辖三个军，韩德勤的苏北兵团下辖两个军。各兵团以徐州为中心，分别阻击日军。
日军对徐州的进攻，从5月中旬开始。中岛师团在9日从山东济宁南下，迅速向安徽砀山、唐寨地区推进，从西面攻击徐州。在徐州北面，土肥原师团在12日从濮县地区南渡黄河，派出一支部队，在内黄集附近截断了陇海铁路交通线。板垣师团在山东南部同中国军队激战几天之后，渡过运河向宿县推进，然后进攻徐州。在徐州南面，日本华中派遣军的荻洲师团在9日攻占安徽蒙城，13日到达徐州西南的永城。吉住师团在16日进入萧县附近，逼近徐州。藤田师团在15日攻陷大营集，向徐州推进。南北两路日军，完成了对徐州的包围。
李宗仁第五战区的部队在徐州附近地区逐次激烈抵抗，未能挡住日军的攻势。李必蕃的第二十三师在荷泽抵抗日军，李必蕃死于战常第一七三师副师长周元率两千人在蒙城拼死阻击日军，周元和大部分官兵战死。日军四面合围，徐州军情险恶，军委会在15日决定放弃徐州。第二天，李宗仁下达撤退命令。21日，徐州地区中国守军突破日军包围，分头向安徽北部和河南南部转移。
徐州会战是继淞沪、太原会战之后中国正面战场的又一次大会战。中日双方都投入几十万兵力，历时四个多月。日军虽打通了津浦线，扩大了占领区，但妄图打击中国军队主力的目标未能实现。中国军队的防御作战和主动转移，达到了一定的战役目的，为部署后来的武汉保卫战赢得了四到五个月时间，打破了日军速战速决的战略计划。
中国军队突围时，日军趁机占领了徐州及其附近地区。接着，日军继续追击，土肥原师团于17日到达内黄集。中国第一战区薛岳兵团为掩护第五战区部队突围，在兰封地区发起反击，于24日包围了土肥原师团。薛岳打算将这个师团吃掉，再创可与台儿庄大捷比美的胜仗，可惜蒋介石的嫡系桂永清弃守兰封，让土肥原突出了包围。薛岳兵团激战到月底，开始退却。21日，中岛师团到达归德。6月5日，矶谷师团抵达太康，向郑州推进。土肥原师团先后攻陷开封和中牟。日军骑兵联队相继炸毁了新郑南郊的铁轨和铁路桥，切断了平汉铁路。郑州告急。
5月的最后一天，在武汉的委员长办公室里，蒋介石伫立军用地图前，反背双手，凝思一阵，用红蓝铅笔勾划起来。
侍从室主任林蔚递上前线急电，蒋介石接过一看，皱起眉头。电报是第一战区前敌总指挥薛岳发来的，大意是：鲁西南下之敌正向归德挺进，意图与华中派遣军会合。
“敌之企图，不仅在支援土肥原兵团，更在进犯平汉路许昌、郑州一带。”蒋介石自言自语，在青砖地上踱步，思考对策。
林蔚拔出自来水笔，翻开本子，准备记录指令。
蒋介石走到地图前，沉思片刻，转过身，看着林蔚说：“告诉程潜，即刻停止对土肥原部攻击，除留一部守备开封一线阻敌西进外，主力迅速转移豫西山地。”
蒋介石的电报发到了郑州。程潜接到命令，马上部署西撤计划，要求商震第二十集团军的第三十二军作掩护，主力部队连夜撤退。
电话铃响，参谋长晏勋甫拎起话筒，传来林蔚的声音：“阻敌西进之部队，必须确保郑州至许昌一线，以为大武汉之屏障，委员长要战区长官部日内拿出具体计划，报军事委员会审批。”
“一定照办。”晏勋甫搁下话筒，向程潜转达了林蔚的电话内容。
程潜说：“敌人争夺郑州和许昌，不仅为切断我平汉路郑汉段运输联络，更在于南进武汉，西迫洛阳和西安，进而窥视我西南大后方。能否守住郑州至许昌一线，与整个抗战局势关系极大，第二十集团军任重而艰巨。”
晏勋甫面露难色：“第二十集团军与土肥原师团激战旬日，伤亡颇大，就算有略事整顿的时间，一时也难以恢复战力。何况敌人在短时间内即可逼近，不容我有徘徊余地。”
副参谋长张胥行望了望晏勋甫，说：“参谋长不是有过设想吗？眼下是时候了。”
晏勋甫沉吟地说：“此非上策，非万不得已时，不可采用。”
“且说来听听。”程潜颇感兴趣。
“早先在武汉行营时，拟过两个方案，其一是必要时将郑州烧毁，使敌人徒占废墟。第二嘛，就是水攻。”晏勋甫见程潜听得很认真，和盘托出设想，“关云长水淹七军，我们挖开黄河堤岸，以水淹敌。”