3月20日，日军矶谷师团借攻克滕县之威，在飞机的掩护下，集中4万人，配以坦克、大炮，向台儿庄发动了猛烈的进攻，企图一举攻占徐州。
李宗仁以第2集团军总司令孙连仲率部固守台儿庄，第20军团军团长汤恩伯率部让开津浦铁路正面，转入兰陵及其西北云谷山区，诱敌深入，待机破敌。
3月23日，日军由枣庄南下，在台儿庄北侧的康庄、泥沟地区与守军警戒部队接战。24日起，日军反复向台儿庄猛攻，多次攻入庄内。守军第2集团军顽强抗击，与日军展开激烈的争夺战。日军猛攻3天3夜，才冲进城内。城内中国守军同日寇展开了激烈的巷战。尽管日军占据了全庄的三分之二，但坚守在南关一带的中国守军至死不退，死守阵地，目的是为了外线部队完成对日军的反包围。这是李宗仁早已制定好的作战计划，以部分兵力死守台儿庄，守军尽量拖住敌人，以便庄外的大军将日寇团团围住，来个瓮中捉鳖。
28日，日军攻入台儿庄西北角，谋取西门，切断中国守军第31师师部与庄内的联系。该师师长池峰城指挥，以强大炮火压制敌人，并组织数十名敢死队员，与敌肉搏格斗。汤恩伯军团关麟征第52军和王仲廉第85军在外线向枣庄、峄县日军侧背攻击。29日，日军濑谷支队再以兵力支援，并占领了台儿庄东半部。31日，中国守军将进入台儿庄地区的濑谷支队完全包围。是时，坂本支队由临沂转向台儿庄驰援，到达向城、爱曲地区，侧击第20军团。该军团即命第52军和刚到的第75军围攻坂本支队。激战数日，予日军以重创，使其救援濑谷支队的计划落空。
矶谷师团见救援无望，决定以死相拼，一个个杀红了眼。国民党军队虽以5倍的兵力围攻，并付出极大的伤亡代价，但竟难以将敌人消灭，战争一时呈胶着状态。
4月3日，李宗仁下达总攻击令。第52军、第85军、第75军在台儿庄附近向敌展开猛烈攻势。日军拼力争夺，占领大部分街市。中国军队展开街垒战，逐次反击，肃清敌人，夺回被日军占领的街市。
4日，中国空军以27架飞机对台儿庄东北、西北日军阵地进行轰炸。当晚，日军濑谷支队力战不支，炸掉不易搬动的物资，向峰县溃逃。
4月6日，李宗仁赶赴台儿庄附近，亲自指挥中国军队向矶谷师团发起了全线出击。一直防守遭攻的孙连仲部，听说反击，神情振奋，命令一下，杀声震天。双方便展开了巷战、肉搏战，一时间，台儿庄城内枪林弹雨，血流成河。日军头一次遭到了国民党军队的如此顽强进攻，很快便溃不成军。台儿庄北面，枪炮声渐密，汤恩伯军团已向敌人开火。矶谷知已陷入重围，开始动摇，下令部队全线撤退。此时敌军已成强弩之末，弹药汽油也用完，机动车多被击毁，全军丧魂落魄，狼狈逃窜。李宗仁命令部队猛追，敌兵遗尸遍野，各种辎重到处皆是，矶谷本人率残部拼命突围。
激战4天，中国军队重创日军濑谷支队、坂本支队，其余日军残部于7日向峄城、枣庄撤退。至此台儿庄战役胜利了。台儿庄会战，在李宗仁的亲自指挥下，击溃日军第５、第10两个精锐师团的主力，歼灭日军2万余人，缴获大批武器、弹药，严重地挫伤了日军的气焰，是国民党战场在抗战初期取得的一次大胜利。振奋了全民族的抗战精神，坚定了国人抗战胜利的信念。