3月14日拂晓，日军第10师团濑谷支队步、骑兵7000余人，配备大炮20余门，坦克20余辆，在30多架飞机掩护下向滕县外围第45军第一线阵地展开全线进攻。中国军队凭借既设阵地，勇敢迎战。川军的武器装备尽管在战前得到一些补充，但仍很差，轻、重机枪是四川土造的，不仅数量少，而且质量差，经常发生故障。步枪的口径不一，长短不齐，有单响，有三响的，甚至还夹杂着不少前清时的老枪，打几十发子弹就出毛病，并且对远射程不起作用。士兵们基本不用步枪射击，只准备在肉搏时使用。全军没有骑兵，除步兵团各有一个迫击炮连外，没有一门野炮或山炮，更没有任何防空武器和反坦克武器，配备的追击炮火力，距离2000公米以外就失去了杀伤力。部队的通讯设备也很差，旅以上才有无线电。川军就是凭借着这些简陋的武器和装备，同武装到牙齿的日军展开了殊死地搏斗。
他们先以追击炮火力阻止日军的前进，待敌人接近阵地时，用重机枪和手榴弹向敌猛烈反击，一枚枚手榴弹投入敌群，炸得日军血肉横飞。中国军队伤亡也很惨重，如127师周营官兵全部壮烈牺牲。双方激战一日后，除香城、下看埠、白山、黄山等中国军队局部阵地被日军占领外，界河镇一线的正面主阵岿然屹立。
驻临城的孙震总司令，得到日军大举进犯的报告后，立即乘火车赶到滕县了解战况，并赴前沿阵地视察。随后孙震在北沙河召集各师、旅、团长和幕僚长开会，向他们传达了李宗仁转来的蒋介石的命令：“第41军固守滕县城3日，迟滞敌军，以待后方陇海铁路转运增援兵力，巩固徐州。”孙震坚毅地说：“为了抗战全局，我们全军将士要人人抱有敌无我，有我无敌的决心，与敌死拼！”
15日拂晓，日军除继续由正面进攻外，还加强了两翼的攻势，并企图迂回至主力阵地侧后。右翼龙山一带因地形有利，又有第127师主力防守，所以形势尚稳定；左翼深井方面，第370旅力量薄弱，伤亡太大，形势危急。王铭章急调滕县城中仅有的一支战斗部队——第124师的第372旅至深井以南的池头集建立第二道防线，以掩护深井第370旅之后背，并加强纵深防守能力。
由于第22集团军的作战指导是企图以阵地防御将日军阻止于滕县以北，所以在日军进攻前后逐次将主要战斗部队全部部署于滕县城北各地，滕县城关地区仅有第122、第124两个师部及第364旅1个旅部，共有4个特务连的战斗部队。当战斗进展激烈、城外各阵地伤亡急剧增加、形势极为严峻时，第5战区电令孙震：“滕县为津浦路北段要点，关系全局，应竭力死守。”同时告知第20军团第85军正在驰援途中。孙震将情况及命令告知王铭章后，王铭章决定加强城防力量，固守待援，立即电令城前第366旅迅急回援滕县；令第364旅炸毁铁路大桥，留1个营防守北沙河，1个营防守城西洪町，其余撤入城内；令临城的第41军特务营赶赴滕县。
15日黄昏时，界河阵地已被突破，龙山被敌包围。由城前返回的第366旅仅先头1个营撤回滕县，主力在城头村附近与日军迂回主力部队遭遇，被迫向临城方向退走。至15日夜，滕县城关地区的部队虽然番号很多，但实际战斗部队仅有11个步兵连、1个迫击炮连，共约2000余人；此外还有师、旅部的4个特务连约500人，滕县地方武装约500人。总计约3000余人。由北沙河退入城中的第122师第364旅第727团团长张宣武受命为滕县城防司令，统一指挥城关各战斗部队。他部署由城前退回的第398旅的1个营防守东关，令第727团1个营防守东、北面城墙，令由临城赶来的第41军特务营防守西、南城墙；其余为预备队，控制于东门内。
日军濑谷支队进至滕县附近时将部队区分为两队。其支队主力进攻滕县，第63联队配属一部炮兵及坦克，由辛庄、中顶山迂回至滕县以南，切断滕县中国军队的退路，并向临城攻击前进。
16日8时，濑谷支队留一部兵力继续进攻北沙河，主力迂回向滕县发起进攻。先对东关进行了约2小时的炮火准备，然后集中火力将东关外围土围墙轰开一个缺口，在猛烈机枪火力掩护下，以约2个小队的步兵向缺口处冲击。守军以密集的手榴弹火力封锁了缺口，并将敌击退。10时至16时，日军对东关连续发起了5次冲击，均被守军击退。但守军伤亡太多，曾3次从城中调预备队补充。日军经整顿后，于17时许又组织第6次冲击，突击部队改以三梯队实施波浪式冲击，同时还延伸火力向东门及城内实施拦阻射击，以阻止城内部队增援。经激烈肉搏，至黄昏时，日军突击部队第三波冲入东关，兵力约1个小队。当夜，守军再由城内增调1个连组织反冲击，将突入之敌大部歼灭，收复了东关。24时左右，防守深井、池头集的第370旅、第372旅残部及防守北沙河、洪町的第727团2个营先后由西门退入城中。此时滕县城北第45军各部均已在阵地被突破后分向微山湖及峄县等地溃退。