中国最高军事当局令第5战区集中兵力于徐州附近，准备再次聚歼日军。日军改以部分兵力在正面牵制对方，主力向西迂回，企图从侧后包围徐州，歼灭第5战区主力。4月18日，日军第10、第5师分别从山东峄城(今属枣庄)和临沂西北的义堂地区南进，对中国守军第2集团军和第20、第3军团及第27军团、第59军实施牵制性进攻。守军顽强抗击，至月底，将日军阻击在韩庄、邳县(今邳州)和郯城一线。5月5日，日军开始从南北两个方面向徐州西侧迂回包围。在南面，日军第9、第13师团从蚌埠地区分别沿北淝河、涡河西岸北进，至13日，陷蒙城、永城(属河南)后，向江苏萧县、砀山(今均属安徽)进攻；第3师团由蚌埠进入大营集地区，向宿县(今宿州)进攻。在北面，日军第16师团由山东济宁渡运河，至14日，连陷郓城、单县、金乡、鱼台后，向江苏丰县、砀山推进；第14师团从河南濮阳南渡黄河，陷山东菏泽、曹县后，直插河南兰封(今兰考)；同时，日军第10师团在夏镇附近渡过微山湖，向沛县(属江苏)进攻。由于日军已形成对徐州的四面合围态势，5月15日，中国最高军事会议决定放弃徐州。16日，第5战区命令各部队分别向豫、皖边界山区突围。19日徐州陷落。日军沿陇海铁路西进，6月6日占领开封。尔后，日军第14、第16师团向郑州进攻，6月7日一部进抵中牟附近。郑州岌岌可危。为阻止日军前进，蒋介石9日下令在郑州东北花园口附近炸开黄河大堤，河水经中牟、尉氏沿贾鲁河南泛。日军被迫向黄泛区以东地区撤退，虽然此举暂时阻止了日军的进攻，却给这一地区广大人民带来了无穷的灾难。