31日，台儿庄及其附近日军已被第2集团军和第20军团第52军完全包围，正当中、日两军在台儿庄进行阵地争夺的殊死战斗之时，在台儿庄北部外围的战线上，日军坂本支队对第52军侧背形成威胁。受困的日军在得到支持之后，立刻发动逆袭，台儿庄各处阵地都遭到日军强烈的反攻，孙连仲部又陷入苦战之中。
4月2日第5战区司令部给各参战军团下达任务：
一、第20军团（含第75军）以一部消灭洪山镇北方之敌，以主力于3日保持东南正面，向台儿庄附近之左侧背攻击，逐次向左迂回，务在台儿庄左侧地区，将敌捕捉歼灭之。
因战况进展，须随时折断敌自峄县之退路，并对向城方向增援之敌严密警戒。
二、第2集团军右翼与第20军团联系，于3日全线攻击，消灭台儿庄之敌；第110师准备以1旅由万里闸附近渡河，向北洛附近敌之右侧进攻。
三、第3集团军前敌总司令曹福林指挥张测民支队5个团及游击总指挥李明扬所部为堵击兵团，迅速南下向枣庄、临城合围。
4月3日，李宗仁下达总攻击令。第52军、第85军、第75军在台儿庄附近向敌展开猛烈攻势。日军拼力争夺，占领市街大部。总攻开始以后，日军顽强抵抗。
台儿庄守军第31师的4个团已经伤亡过半，由第30师调入城内的两个团接替了部队阵地，伤亡也很严重。至4月3日，台儿庄城西北门、北门、东门、东南门均已陷于敌手，全城一半的面积已被敌军占领。守军仍据守南关一隅，拼死坚守，并组成大刀队夜袭敌人，予敌以很大杀伤。敌军连续发动了七八次总攻，并且使用燃烧弹，妄图摧毁城内所有房屋和军民，将台儿庄夷为平地。城内各守备队利用地形和断墙残壁，筑起第三道阵地工事，挨街逐巷与敌人周旋搏斗，并组织起200余人的奋勇队，偷袭敌人据点，连连突破敌人阵地。守军虽然英勇奋战，但伤亡太大，实力愈来愈不支。
４月３日，日军占领四分之三的台儿庄地盘。池峰城师伤亡惨重，池峰城请求孙连仲让其部退至运河南岸。孙连仲断然向池峰城命令道：“部队绝不许撤，打到最后为止。士兵打完了你就自己上前填进去，你填过了，我就来填进去。有谁敢退过运河者，杀无赦！”
池峰城奉命后，知军令不可违，乃以必死决心，逐屋抵抗，任凭敌人如何冲杀，也死守不退。战至黄昏，敌人即停止进攻。至午夜，孙部先锋敢死队数百人，分组向敌偷袭，冲入敌阵，人自为战，奋勇异常，官兵手持大刀，向敌砍杀，敌军血战数十天，已精疲力竭，不料中国军队尚能乘夜出击。日军在慌乱中仓促应战，乱作一团，血战数日为敌所占领的台儿庄市街，竟为中国军队一举夺回，敌人死伤累累。
4日深夜，此时台儿庄孙连仲部守军已伤亡殆尽，全庄四分之三地盘为日军占据，孙连仲强烈地意识到，再孤军死守，将全军覆亡，于是他向李宗仁报告说：“第2集团军已伤亡惨重。敌人火力太强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第2集团军留点种子，也是长官的大恩大德。”
李宗仁听得出，孙连仲讲这番话时，语调哀婉，他深知孙的处境是何等的艰难，又是何等的悲壮，但李宗仁更清楚，台儿庄目前的重要性，他估算汤恩伯军团第二天中午可赶至台儿庄北部，因此鼓励孙连仲说：“敌、我在台儿庄已血战一周，胜负之数决定于最后5分钟。援军明日中午可到，我本人也将于明晨来台儿庄督战，你务必守至明天拂晓。”说完，李怕孙情绪低下，影响士气，又下令道：“我的命令如若违抗，当军法从事。”孙连仲以前虽和李宗仁只一面之缘，但听人说过，李在战区司令官中，属较通情的一位，此时此刻李下这样的命令，深知台儿庄对整个战役至关重要的价值，以及李宗仁对此次战役胜利的信心。于是孙态度坚决地表示：“我绝对服从命令，整个集团军打完为止。”孙连仲的态度，使焦急万分的李宗仁感到有些安慰，但他总有些不放心，于是又指示孙连仲，“今夜你还须向敌夜袭，以打破敌军明晨拂晓攻击的计划，则汤军团明日中午到达后，我们便可对敌人实行内外夹击。”孙表示部队已用完，夜袭不容易。李听后立即指示：“我现在悬赏10万元，你将后方凡可拿枪的士兵、担架兵、炊事兵与前线士兵一起集合起来，组织一支敢死队，实行夜袭。这10万块钱将来按人平分。”
孙连仲将李宗仁的命令传达后，数百人一支的敢死队很快成立起来。
4月5日午夜，敢死队分组向敌出袭，冲击敌阵。他们各个精神异常振奋。已是血战数十天的敌军，也精疲力竭，深夜正坠入梦乡，听到不知从哪来的枪声，顿时乱作一团，一面仓皇应战，一面后退。经数日血战为敌所占的台儿庄各街，竟在短短不到一小时内，一举夺回四分之三。此时，李宗仁不但得报孙连仲夜袭成功的喜讯，又得汤恩伯部翌日天明前可赶到台儿庄的消息，高兴极了，他立即率随员，连夜亲自赶到台儿庄郊外，准备亲自指挥对矶谷师团的歼灭战。
4月6日，李宗仁赶赴台儿庄附近，亲自指挥全线总攻。中国军队全线出击，杀声震天。敌军已成强弩之末，弹药汽油用完，机动车辆多数被击毁，其余也因缺乏汽油陷于瘫痪，日军狼狈逃窜。日军濑谷支队力战不支，炸掉不易搬动的物资，向峄县溃逃。中国军队乘胜追击，敌除濑谷支队残部数千人逃掉外，其余全部被歼。一直防守的孙连仲部，听说反击，神情振发，命令一下，杀声震天。李宗仁命令部队猛追，敌兵遗尸遍野，各种辎重到处皆是，矶谷本人率残部拼命突围。中国守军开始在台儿庄内肃清残敌。