“承蒙李长官为我缓颊，中央如能饶恕我，让自忠戴罪立功，我一定以生命报国，绝不辜负李长官的期望。”
冯玉祥和李宗仁帮助张自忠在2月份接替宋哲元当上了第五十九军军长。张自忠向李宗仁辞行时说：“要不是李长官一言九鼎，我张某纵不被枪毙，也当长陷缧绁之中，为民族罪人。今蒙长官成全，恩同再造，我张某有生之日，当以热血生命报国，以报知遇。”
庞炳勋在临沂被围，情况危急，除张自忠军之外，第五战区已无军可调。李宗仁明知张自忠和庞炳勋关系紧张，1930年蒋介石、冯玉祥和阎锡山打中原大战，庞炳勋被蒋介石收买，倒戈反冯，突袭张自忠的部队，他们从此结怨。张自忠调来第五战区时，曾私下表示：“在任何战场皆可拼一死，惟独不愿与庞炳勋在同一战常”
但是，李宗仁还是要派张自忠去增援。张自忠觉得这是李宗仁对他的信赖，当即表示：“绝对服从命令”他率领部队星夜起程，以一昼夜行军九十公里的速度赶到临沂。庞炳勋见援军赶到，而且士气旺盛，大受鼓舞。两支部队内外夹攻，如疾风骤雨，向日军反击。
张自忠一到临沂，就提出向日军发起反攻。3月14日凌晨，他率领全军暗渡沂水，向板垣师团右侧背发起攻击，逐村逐屋地展开白刃争夺战。战斗持续三天，日军向莒县溃逃。第一次临沂之战，歼灭三千多名日军，蒋介石致电张自忠祝捷。
17日夜晚，日军向沂水退却，庞炳勋军和张自忠军合力穷追一昼夜，日军一退四十五公里，缩进莒县城内死守。第二天夜晚，张自忠奉令向费县集结，板垣师团乘机增兵临沂。张自忠军星夜回援，25日返回临沂，全军官兵浴血奋战，冒死冲锋，给日军大量杀伤。
第五十九军奋战到29日，援军赶到，张自忠下令全线反击，迫使日军向汤头方向溃逃，取得第二次临沂战役的胜利。
两次临沂战役，号称“铁军”的板垣师团两次败北，板垣大觉羞辱，差一点自杀。日军撤退时，他连大衣和手杖都来不及带走，被张自忠的部下缴获。
板垣败绩累累，矶谷师团仍在向南推进，逼近滕县。李宗仁把孙震的第四十一军从郑州调到山东滕县。3月15日，孙震军刚刚部署就绪，矶谷师团就发起了攻击。日军几十架飞机和三十多门大炮狂轰滥炸，代理军长兼前方总指挥王铭章督战死守。李宗仁见滕县危险，又急令新拨归第五战区指挥的第二十军团司令汤恩伯派部队驰援。汤恩伯的主力是王仲廉的第八十一军，因行程太远，未能及时赶到。17日晚，日军攻陷滕县，王铭章在激战中腹部中弹，血流如注，为了不做俘虏，举枪自戕，壮烈殉国。日军20日攻占郅县，沿台枣支线向台儿庄阵地突进。
对矶谷军事行动的后果，李宗仁有充分的估计：台儿庄一失，不但前功尽弃，士气和民气受到巨大挫伤，国内恐日病大涨，而且会给日后的战略转移带来难以想象的损失。
这时，白崇禧从武汉赶到徐州。他在动身之前，邀请周恩来和叶剑英到他的寓所，请教作战方案。周恩来知道，李宗仁的部队在津浦路南段至徐州以北受到日军南北夹击，他建议在津浦路南段以运动战为主，以游击战为辅，牵制南京方面的日军不敢贸然北上；把主力放在徐州以北，阵地战与运动战相结合，守点打援，各个击破。白崇禧对周恩来的方案深表赞赏。他在徐州协助李宗仁指挥时，基本采取了这个方案。
不久，张爱萍受周恩来委托，在徐州会见了李宗仁。张爱萍说，日军侵占济南以后南下，孤军深入，骄兵必败。济南以南徐州以北的地形很好，台儿庄一带都是山区，对守军有利。广西军队是有战斗力的，北边有八路军在战略上配合，集中兵力打一个大仗，可以给日军一次沉重的打击。
李宗仁沉默不语地听着张爱萍的提议。当张爱萍讲到桂军可以藉此在民众中和国民党中提高威信时，李宗仁高兴起来，说他认为这个意见很好，请张爱萍向周恩来致谢。
李宗仁为了确保台儿庄，决定动用最善防守的孙连仲第二集团军，命令孙连仲派三个师沿运河布防，扼守台儿庄正面阵地。他同意张爱萍的看法：矶谷在前次战役中占了上风，会等不及蚌埠方面的援军北进，便直扑台儿庄，以期一举攻下徐州，夺取打通津浦路的首功。
李宗仁决定布设圈套。他命令汤恩伯手下的两个师，让开津浦路正面，诱敌深入，等到矶谷直扑台儿庄时，从后面攻击日军，与孙连仲一起将日军围歼。战事的发展，正如李宗仁所料，日军从滕县南下，不顾汤恩伯的部队，直扑台儿庄。大约四万人的矶谷师团，拥有七八十辆坦克与一百多尊山野炮和重炮，重轻机关枪不计其数。23日，日军冲到台儿庄北泥沟车站，徐州城内已可闻炮声，台儿庄战役的帷幕正式拉开。
3月24日，蒋介石到徐州视察，命令白崇禧、林蔚和刘斐等人组织临时参谋团，在徐州协助李宗仁指挥作战。
同一天，日军采用攻打滕县的战术，猛烈轰击孙连仲部队的防御工事，接着以坦克为前导，向守军阵地推进。狂风暴雨般的枪炮弹，把台儿庄外围阵地工事基本摧毁，日军步步逼近，攻势凌厉。孙连仲的部队一无平射炮，二无坦克，无法反击。但他们知道，台儿庄是他们的光荣，也是他们的坟地，便和逼近的日军拼肉搏，和横冲直撞的日军坦克同归于荆日军仗着武器精良，冲入城内。守军在城内与日军展开激烈巷战。