此役，185团团长王郁彬、营长高鸿立均受重伤，守邵庄之梁敬贤营长阵亡，其他下级干部及士兵亦伤亡惨重，南洛、刘家湖、邵庄失守。但中国官兵们的高昂斗志和牺牲精神，极大地震慑了一向骄横的日本鬼子，大长了中国人的志气。
27日，日军荣福联队再次向台儿庄发起猛烈进攻，为配合福荣联队。濑谷为其配备了一个大队重机枪、两个中队轻重装甲车、两个中队野炮兵及15厘米榴弹炮两门。为迅速拿下台儿庄，日军首先用重炮对台儿庄猛轰，台儿庄城墙被炸开了口，日军攻破台儿庄北门。守军第31师与敌在庄内展开拉锯战，双方伤亡甚重。日军不断增加兵力，从峄县调来增援部队4000余人，但立即遭到中国守军顽强抵抗，敌人一次又一次的冲进城内，一次又一次被中国守军击退。为争夺一村一地，与敌军反复肉搏一二十次。台儿庄战斗异常惨烈。
3月27日，日军伤亡惨重，一时无法集中全力攻城。但敌军有增兵，并倚恃其优势火力，再次以炮兵向台儿庄城四周阵地猛烈攻击，一日间落炮弹达六七千发；更以飞机轮番轰炸，迫使守军逐渐后退。然而守军以血肉之躯与敌方炮火、坦克相搏斗，至死不退，英勇坚守阵地。日军得到增援后，对台儿庄发起第3次猛攻，突破了城东北角，但受到守军的顽强抵抗。双方展开激烈的巷战，守军死伤近3000人，北面的城墙被日军重炮轰毁，城内阵线呈犬牙交错状。日军福荣大佐指挥的攻坚部队主力南下，汇合攻城部队再次向城内猛冲。
28日，日军对台儿庄的攻击更加猛烈，日军攻入台儿庄西北角，谋取西门，切断中国守军第31师师部与庄内的联系。战斗形势越来越艰难。日军组成敢死队攻城，已从城西北角缺口处突入城内百余名，城外日军还在继续涌入，中国军队顽强抵抗，激战多时，至深夜战况稍有缓和，敌我伤亡均重。我守备城西北角之王祖献营伤亡殆尽，营长王祖献阵亡。由于日军占领了城西北角阵地，直接威胁着城内守军与城外通道的城西门，加之守城官兵伤亡过大，城内总指挥王冠五产生了弃城撤退的念头。当晚，他在电话中向池峰城报告战况后说道：“敌人攻势过猛，连日来官兵伤亡过半，无法再坚持下去，请师长下令放弃台儿庄。”
池峰城对几日来的战况很清楚，本师伤亡奇重，部队刚刚缩编，今日又受重大损失，答应增援的汤恩伯军团又杳无音信，日军攻势有增无减，城内守军益感疲惫和难于支撑，城内阵地也已支离破碎，因此，一向以毅力顽强著称的将领，头脑中也产生出撤退的念头，他对王冠五说：“冠五，情况我清楚，撤退问题，等我请示总司令再说。”
池峰城马上接通了孙连仲的电话：“报告总司令，今晚日军突入台儿庄西北城区数百人，虽经我奋力拼杀，失地收复。我部伤亡实在太大，请准将部队撤至运河南岸，让我们喘喘气吧!”
孙连仲深知，像目前这样在城内厮杀、消耗，台儿庄守备部队有可能损失殆尽。但此时若放弃城池，则几天来将士们的浴血奋战将功亏一篑。为全局着想，第31师伤亡再大，也不能退出台儿庄。于是，他以坚毅的语气命令池峰城道：“不许撤退，绝对不许撤退，这是命令，台儿庄若失守，军法论处!”
池峰城深知撤退已不可能，31师必须与城池共存亡。他再次拿起话筒对王冠五说：“总司令命令，坚守台儿庄!”王冠五争辩道：“城是不能守了，弃城的责任，我一个人负!”
此时的池峰城，只感到胸口一阵发紧，忽然间低头吐出一口鲜血。一旁的参谋见状，接过话筒，大声对王冠五说道：“台儿庄得失存亡，关系甚大，此时放弃，我们将前功尽弃，不仅对不起死难的官兵，更对不起国家和人民。上峰的命令必须执行，台儿庄必须死守，谁再言放弃台儿庄，格杀勿论!”王冠五听罢，鼓起勇气道：“照命令办，请师长放心。”
蒋介石十分关注台儿庄方面的战况，日军决心攻克台儿庄的意志以及前线的战况，很令他担心，
28日深夜，孙连仲接到正在徐州督战的军令部次长林蔚转达蒋介石谕旨的电话：“台儿庄屏障徐海，关系第二期作战至巨，故以第2集团军全力保守，即有一兵一卒，亦须本牺牲精神努力死拼，如果失守，不特该军全体官兵重惩，即李长官、白副总长、林次长亦有处分。”
李宗仁命令所属部队，坚持到最后胜利。
孙连仲立即传达各部官兵，并命令道：“为保持本军过去之历史，即牺牲到最后一滴血，亦奋斗到底。为督饬各部作战，派42军冯安邦军长赴右翼27师督战，田镇南军长赴左翼30师（该师于28日夜抵达台儿庄运河一线）、独立44旅及31师督战，对退缩不前与作战出力官兵，依法惩奖。”
各师、旅长接孙总司令命令后，立即执行。池峰城还向全师官兵下达命令：“台儿庄是全师将士的光荣所在，也是我部官兵的坟墓。虽剩至一兵一卒，也要坚守阵地。从士兵至师长，任何人不得撤退，违者严惩无误。”
第31师的全体官兵奋勇抵抗，与敌展开肉搏，坚守了阵地。
在台儿庄一线31师与日军拼杀的同时，27日，位于台儿庄东的27师开始向日军据守的村寨发动进攻，79旅一部6时将裴庄攻下，7时又击溃刘桥之敌。第80旅159团将岔路口、前、后枣庄、杨家庙、张楼各村收复，160团攻克邵庄，并将刘家湖之敌包围。日军据寨抵抗，炮兵也连续射击，坦克车辆往返冲突，战况激烈。第27师遂电请孙连仲总司令，请炮7团协助向刘家湖之敌进行炮火压制，双方战至中午，战况有所缓和。下午，日军以步骑兵五六百人、坦克7辆，在猛烈炮火掩护下，进行反攻，敌军且战且增。中国军队官兵拼战不退，师长黄樵松亲至阵前督战，士气激昂，战斗十分激烈。相持至下午7时，战况才渐趋和缓。