根据预定作战部署，3月23日凌晨，第2集团军第31师第93旅乜子彬部的先头部队开始从台儿庄一线向峄县方向搜索前进。当93旅骑兵连搜索至峄县以南8公里处的乱沟附近时，与南下日军先头骑兵部队约300余人、坦克1辆遭遇，从而打响了台儿庄一线战斗的第一枪。
当面之敌是由日军步兵第63团第2营及野炮兵第10团第1营组成的，配属有坦克、装甲车、野炮及骑兵队，共1000余人。就当时中日军队的实力对比看，日军的这支混合部队，除了人数以外，其无论是在部队的机动性方面，还是在火力配备上，都超过了中国军队一个普通师的水平。
第93旅骑兵连百余官兵都是久经沙场的老兵，他们在队长王保坤和连长寇保贞率领下，占据有利地形，打退了敌人一次又一次的进攻。日军见久攻不下，于是调集大炮，对中国军队阵地轰击，守军全队官兵抱定与阵地共存亡的决心，争取尽量滞阻敌人，使后续部队有充分的时间作好迎敌准备。手榴弹使用殆尽，仍然顽强坚守阵地，不肯退却。最后，在敌人的轮番攻击下，阵地终于失陷，全队官兵伤亡过半，被迫后撤。
31师北上搜索分队与敌南下进攻之旅在路途中遭遇，在敌强我弱的情势下，中国军队以顽强的斗志，较小的代价，滞阻日军于台儿庄外，初步打破了日军急于南下，抵达运河一线的计划。
根据敌情，池峰城于当日晚对各部队的任务作了部署：骑兵仍活动于潘家庵附近地区，监视峄县敌人行动；第93旅以一部置于南洛、孙庄各据点，主力置于板桥；第186团仍任台儿庄之守备，速构筑防御工事；第92旅以一部进驻台儿庄北站附近，并迅速加强该地工事。
同日，第5战区司令官李宗仁得到第31师与日军遭遇，日军已进至北洛的战报后，当即给第2集团军孙连仲下达命令：孙总司令即赴台儿庄指挥；驻贾汪(距台儿庄西南30公里处)之27师星夜徒步向台儿庄附近集结。
孙连仲受命后，即率第2集团军司令部于24日晨4时抵达台儿庄运河以南5公里处的韩家寺，亲临调度指挥。并急令第27师速开至台儿庄附近地区。
第27师是孙连仲的基干部队，孙连仲曾任该师师长。由于是孙的“嫡系”，因此经孙连仲争取列为国民党军队“调整师”编制，其装备、军械虽不如蒋介石嫡系部队，但较第2集团军的其他2个师稍为优良。
黄樵松是一个有着民族气节的爱国军人。他十分痛恨国民党军队中的那些对日军作战时贪生怕死、保存实力的将领，称他们为“非炎黄子孙，实为中华民族的败类”。他把满腔的悲愤化为抗击日寇的行动，在娘子关战役中，他身先士卒，率部痛击日军，击毙日军步兵第70联队联队长鲤登大佐。娘子关战斗后，黄樵松接替冯安邦任第27师师长。
当3月24日晨4时，黄樵松接到孙连仲命其部速开台儿庄的命令后，晨5时，黄樵松即率第27师从贾汪附近地区出动，3个梯队徒步向台儿庄前进。下午6时，部队抵达台儿庄南站附近。
日军占领獐山后，十多架飞机飞临台儿庄上空，对台儿庄及附近炮阵地滥施轰炸。每架98式轰炸机上，都装载着300～450公斤炸弹。顷刻之间，台儿庄被硝烟烈火笼罩。狂风暴雨般的炮弹，把台儿庄外围阵地工事基本摧毁，敌人步步逼近，向北洛猛攻。185团王郁彬团长督率高鸿立营奋勇抵抗。在优势敌军的攻击下，且战且退，于夜幕降临时退至南洛，傍晚，日军追击185团到南洛，被伏兵所阻。敌趁势占领了北洛，与中国守军相对峙。
24日，日军第10师团在飞机大炮的配合下，开始猛烈围攻台儿庄。进至刘家湖的敌军突击台儿庄城东北，被守军186团歼灭200余人。
25日，日军进攻南洛。31师第185团高鸿立营奉命侧击日军阵地。在侧击中，发现日军炮兵阵地隐蔽于前方小松林中，正肆无忌惮地向台儿庄一线猛轰，阵地周围有日军守卫。高鸿立见状，义愤填膺，高声对全营官兵们喊道：“小狗日的在这逞威风，你们瞧，轰炸我台儿庄的炮弹都是从这发射的，今天碰到我们的刀口上，一定要把那狗日的大炮夺过来!”
听到营长的召唤，士兵们一齐响应：“夺过来!炸掉它!”
高鸿立是个膀粗腰圆，性子刚烈的黑大汉，一向作战勇猛果决。此时性起，猛地甩掉头上的帽子，脱去上身的棉军衣和衬衫，赤胸露臂，左手握着手枪，右手举起大刀，双目圆瞪，对士兵们大声吼道：
“要让那小鬼子们知道，咱中国人不是好欺辱的!弟兄们怕死不怕死?”
“不怕死!”士兵们如雷般地回答。
“不怕死的脱光膀子，跟我冲上去！”
霎时间，几百名士兵袒露着上身，腰间系着手榴弹，手持明晃晃的大刀，在高营长率领下，潮水般地向敌人冲去。
日军见此情景，为我不怕死的举动所震慑，一面集中火力向高鸿立营阻击，一面拉出炮车掉头遁逃。高鸿立营官兵一片喊杀声，随后猛追。
由于中国官兵没有对付坦克的武器，所以在双方的冲锋中，敌坦克横冲直撞，将中国部队分割，造成指挥失灵。但官兵们各自为战，躲闪开坦克，与敌步兵进行着残酷的拼杀。
此时，185团王郁彬团长接到报告，急率一、二两营前往增援，一场规模更大的肉搏战在麦田里展开，士兵的喊杀声、手榴弹的爆炸声、机枪步枪的响声、坦克的轰鸣声、刀枪的撞击声，汇成一片。惨烈悲壮的血战正进行中，7架敌机又来助战，中国官兵向三里庄撤退，敌军趁势跟进。适逢乜子彬旅长率181团前来接应，铁甲车也于北站支援，从三里庄出击，给予追击迫近之敌以猛烈打击，伤残疲惫的日军才于受挫中退去。