日军津浦线主力南攻不成，遂改变策略，由少壮派军人板垣征四郎、矶谷廉介率2个师团企图会师台儿庄。日军一旦在台儿庄得手，便可策应津浦路南端日军攻势，一举拿下徐州。板垣、矶谷两师团，是日军精锐之师，此次进攻，来势相当凶猛，大有一举围歼中国军队之势。日军以七八万兵力，在华北方面第二军司令官西尾寿造指挥下，分两路向台儿庄进发。一路为板垣第5师团，沿胶济路西进，进逼临沂；一路为矶谷的第10师团，该师团沿津浦路南下，直取台儿庄。中国军队为堵截日军前进，在临沂、滕县同日军发生了激烈的战斗，揭开了台儿庄会战的序幕。
2月下旬，日军东路第5师团从山东潍县南下，连陷沂水、莒县、日照，直扑临沂。中国军队第3军团第40军等部节节抵抗。李宗仁派遣庞炳勋部，先在临沂建立防御阵地，以诱敌深入，先挡住日军第5师团的正面攻击，然后迅速调派张自忠将军的第59军，兼程驰援临沂。张自忠部此时远在淮河流域一带，但是在接到命令之后，立刻以最快的速度，向临沂方向增援。此时日军也掌握到张自忠部的动向，但是日方估计，59军最快也要3天的时间，才能从峄县赶到临沂，所以日军认为可以抢先击溃在临沂弹尽援绝的庞炳勋部，然后再以逸待劳地反击张自忠部，因此日军估算张自忠部不但不能及时赶到临沂成为救援军，反而成为送上门来的“找死军”。但是张自忠却率领59军进行日夜的急行军，这是吃苦耐劳与豪气干云的西北军特质，在军长的一声令下，竟然能够在一日一夜之内，提前赶到临沂。因此59军在敌方完全没有预备的状况下，就有如从天而降般地猛攻日军第5师团背侧，庞炳勋部将士更是用命地从阵地反击，日军绝对没有想到中国军队竟然会进行这种内外夹攻的拼命打法。因此，在3月14日到18日的临沂决战中，日军第5师团遭到极其惨重的损失，造成日军部队已经无法继续支撑作战，只有先撤退回莒县以困守待援（当时日军虽以超过一百多辆的卡车，满载阵亡的日军尸首匆促地奔逃，但战场上仍然遗留了不少的死尸。日军一向非常重视同胞尸首的处理，不是危急到没有办法，通常都会设法带回焚化，将骨灰带回日本）。临沂之战得胜，它砍断了津浦路北段日军的左臂，促成了之后台儿庄会战中，李宗仁围歼孤军深入台儿庄的矶谷师团的契机。
正当板垣败绩累累之际，日军西路第10师团长矶谷仍然武士道精神十足，不顾一切，日益向南推进。李宗仁调来川军邓锡侯第22集团军，孙震的第41军赶往滕县，拒敌南下。孙震部刚在滕县部署就绪，3月14日，矶谷师团就发动攻击。日军以数十架飞机30余门大炮狂轰滥炸，守军师长王铭章督战死守。3月17日晚，日军配合炮火攻陷滕县 (今滕州)。中国守军第22集团军第41军英勇抗击，伤亡甚重，苦战至17日，该军守城的第122师师长王铭璋殉国，伤亡达5000之众。李宗仁见滕县危险，又急令新拨归第5战区指挥的第20军团司令汤恩伯派部驰援。汤的主力81军王仲廉部因行程过远，未能及时赶到，滕县失守。敌军损失也极大，死伤达2000多人。此战，22集团军以劣势之装备与兵力，阻击绝对优势之敌达3天半，为第5战区之后的台儿庄会战争取了有利时间，奠定了胜利的基础。