日军在台儿庄战役失败后，尽管日军统帅部硬着头皮说：“这不是一个败仗，只是指挥官的一次小小的失误，第5、10师团的余部不是溃败逃跑，而是做新的战略转移。”但恼羞成怒的日本政府，立刻召开紧急会议表示：日本政府不能蒙受如此羞辱。
其实，日本天皇原在2月16日的御前会议上说：“在８月以前绝不向新地区发动进攻。”台儿庄惨败后，日军大本营已经无法再考虑战略上深入与分散的问题了，日军必须立刻设法击败中国军队，以挽回“皇军无敌”的声誉。日本天皇立即决定：迅速向中国大规模增加兵力，发动更大的进攻，誓报台儿庄惨败之仇。
日军统帅部深知徐州不可轻取，非调集重兵，四面合围，否则断难打通津浦线。4月间，侵华日军华北方面军和华中派遣军自平、津、晋、绥、苏、皖一带，纠集了13个精锐师团，约30万军队（其中包括矶谷和板垣两师团从台儿庄撤退后，重新集结，补充休整兵力），并配有各种重武器，飞机数百架，兵分6路对徐州形成大包围，采取南北对进，侧翼迂回的战术，企图围歼云集在徐州一带的第5战区主力。
4月7日，台儿庄战斗刚结束，日军前线指挥官电告大本营：徐州地区有一股中国军的强大集团，据可靠情报，该集团约50个师，60余万人，几乎全部为蒋介石的精锐部队。
陆军统帅部顿时惊喜若狂，认为这是报台儿庄之仇的一次难得的战机。
杉山元陆相当即向天皇报告，强烈主张发动徐州会战。他说：“对于集中在徐州方面的中国军予以痛击，可以收到挫伤敌军抗战意志的巨大效果。因而，陆军准备实施对徐州的歼灭作战，由于该敌差不多是中国军队的精锐主力，并且已经处于孤立状态，我军应不失时机，以大的兵力，以大的规模会战，使之一举彻底歼灭该敌。本职认为，只要达到了歼灭这股敌军的战略企图，就能使武力解决中国事变，促使蒋政权屈服投降，迈出决定性的一步，亦可挽回我军在台儿庄的不良影响。”
天皇见报，顿时喜出望外，亦认为这是刹住蒋介石正在进行的台儿庄胜利大宣传的嚣张气焰的大好良机，当即定案：围歼徐州中国军队，并要求：陆军此次进攻，定要取得巨大战果，不使徐州地区50个师的中国军队一人漏网，务求全歼。
为求速战速决，不失这千载难逢的良机，大本营陆军部于当日向华北方面军总司令官寺内大将、华中派遣军总司令官畑俊六大将下达第84号命令：
一、华北方面军司令官应以有力之一部击破徐州附近之敌，占据兰封以东陇海线以北之地区。
二、华中派遣军司令官应以一部占据徐州以南津浦线附近。
日大本营在动员华北方面军、华中派遣军的主力投入这场战斗的同时，还下令关东军派军支持。由于华北方面军司令官寺内寿一大将与华中派遣军畑俊六大将的官衔相同，谁也不会接受对方的指挥，因此，只有紧急派遣大本营陆军参谋本部的作战部长桥本群少将，率领参谋本部的参谋军官，在济南成立大本营派遣班，组织包括华北与华中日军的参谋军官，进行徐州会战的作战协调工作。
日军以第16、第144师团增援北线的第5、第10师团，沿津浦路向南推进，以引诱中国军队主力；以第14师团从濮阳渡黄河入鲁西南和豫东，断陇海路，从而阻遏援徐州之中国军队，亦断徐州守军退路；以第13师团在南线的蚌埠、怀远间集结；以第6、第9师团向凤阳、合肥进逼；以第101师团向苏北攻击。
5月上旬，南路日军开始北上，相继攻占徐州南面的龙元、蒙城、宿县，并攻陷徐州西边的黄口车站，包围并切断了徐州西南面的退路。
5月中旬，北路又一股日军，从淮阳强渡黄河，进入鲁西地区，迅速攻占了郸城、菏泽、金乡、鱼台等重要据点。该地区虽有孙桐萱、庞炳勋、商震等部队，但在广阔的鲁西平原上，无险可守，日军得以快速推进。北路日军与南路日军相呼应，自西北向徐州压来。此时，日军对徐州的大包围业已完成，正从四方八面向徐州突进。