中国军队在临沂和台儿庄的胜利，大大刺激了蒋介石求胜欲望。蒋介石为扩大台儿庄胜利成果，采取与日军针锋相对的方针，从3月下旬起，从各战区调集大批军队，使第5战区的兵力由29个师增加到64个师又3个旅，共达60万人。同时，还将中央军胡宗南、黄杰、桂永清、俞济时、宋希濂等部布置于豫东，作为徐州的后援力量，试图在徐州与日军一决雌雄。
蒋介石的上述想法，早在台儿庄会战之前就已表露。他亲临徐州督战时就对白崇禧等人说：“徐州是这次会战的核心。徐州位于黄淮之间，地界鲁、豫、皖、苏四省之交，为南北之通津，中原之屏障。在中国历史上，徐州之得失，有关国家之兴替。”
何应钦附和说：“委员长的指示极为重要，十分英明。徐州，历来是兵家必争之地，南守可略豫、鲁，北守可瞰淮河，不可轻易放弃。”
“我们一定要死守徐州!”林蔚也跟着随声附和。
刘斐认为徐州应该守，但最终必然守不住。考虑到自己仅是个作战组长，不便公开与蒋介石“较劲”，只好用眼睛盯着素有“小诸葛”之称的白崇禧，盼望他拿个好主意。白崇禧懂得刘斐眼光的意思，但也不好正面反对蒋介石的意见。他打了个迂回：“这次敌军的第10师团和第5师团进袭鲁南，气焰十分凶狂呀!”
不等白崇禧说完，蒋介石就说：“凶狂怕什么?我们可以增调兵力。徐州必须死守，因为在徐州决战，可以争取时间，保卫武汉。徐州守得越久，我们争取的时间就越多，就可以把保卫武汉的准备工作做得好一点。”
“委员长的远见，令人佩服之至!”何应钦又发出了赞美之声。
白崇禧见蒋介石决心已下，不好再说什么了。
台儿庄胜利后，蒋介石等人盲目乐观情绪更为膨胀。
但身为第5战区最高长官的李宗仁，对形势的判断并不乐观，他深知，徐州四周为平原地带，无险可守，日军是机械化部队，又多有空军助战，在此处打起来，中国军队要吃大亏。他认为：“我方在徐州一带平原，聚集大军数十万人，正是敌方机械化部队和空军的最好对象”。李宗仁从持久消耗战的战略思想出发，认为在徐州同敌军作阵地相持的消耗战是愚蠢的。指出：“以中国军队的装备，只可相机利用地形条件，与敌人作运动战”。他为避免重蹈京沪战场的覆辙，提出撤离徐州的意见，而军事委员会中的少数人却陶醉于台儿庄的胜利中。李的意见被否定之后，即部署徐州会战。
第5战区在徐州附近地区进行了逐次激烈的抵抗，但未能挡住日军的攻势，徐州处于日军四面合围的险恶形势下。
5月中旬, 前方越来越惨烈的战报不断传到武昌国民党军委会蒋介石的案前，徐州突然面临的严重危机，使他那因台儿庄的胜利冲得有点晕乎乎的大脑一下冷静下来。蒋介石突然意识到：日军的意图是要围歼徐州中国军队主力。若徐州那50个精锐师被日军吃掉，我还抗什么战？
蒋介石立即叫来何应钦、白崇禧、陈诚等人一块研究策划。日军的企图已经暴露，再死守徐州已不现实，何应钦等人亦主张赶紧突围，决定放弃徐州。
蒋介石口授给李宗仁的十万火急电令：
第5战区司令长官李宗仁：
军委会着令你部力避决战，撤离徐州，火速突围。
一、顾祝同第24集团军在苏北，第69军及海军陆战队在鲁中南原地坚持抗战。
二、刘汝明第68军为全军后卫，掩护主力转移。
三、第5战区其余各部，立即向豫皖边区突围……