台儿庄为山东南部峄县境内的一个小镇。位于津浦线台枣（庄）支线和台淮（坊）公路交叉点上，西临大运河，是徐州的门户，也是滕县失守后，屏护徐州的最后一道防线，战略地位十分重要。为了确保徐州安全，战前，中国守军在此构筑了一定的防御工事，筑石墙两英里，内设碉堡70余座。
日本的第2军对于自己在华北战场，一直没有机会充分地发挥战功，加上它在进攻山东之后，中国军队不战而退，更使日本第2军显出相当焦躁与轻敌。加之后期在山东的部队，一再受到中国军队反击，又遭到不少损失，自然怒不可遏地要进行报复。第2军旗下的第5与第10师团，要求华北方面军允许他们向南进攻。华北方面军同意第2军进攻扫荡的建议，也认为日军不能画地自限，因此，向大本营争取到给予第5与第10师团攻击鲁南的许可。不过大本营仍然划出日军南下的禁止线——不得超过临城到临沂的前线。
日军第10师团长矶谷廉介中将，根本就不把中国军队放在眼里，他所率领的第10师团，是一支重装备的机械化部队，又拥有空军协同作战的能力，他在攻占滕县之后，又攻克临城，这是日军大本营给华北方面军的南下禁止线。但是矶谷判断李宗仁手边的部队不足，可以调动的部队，已经先在右翼与板垣的第5师团缠上了，所以他决心大胆深入，越过临城与枣庄前线，准备直捣徐州，一举攻占中国军队第5战区司令部，好为自己建立一个显赫无敌的战功，所以他率部全速南下，根本不接受大本营设给日军在鲁南作战的禁止线。
3月17日，日军第10师团在攻占滕县后，不顾其左翼第5师团被阻，也不待蚌埠方面援军北进呼应，却孤注一掷地向台儿庄扑来，以期一举而下徐州，夺取打通津浦线的首功。
“将军，孤军深入，乃兵家之大忌呀！”参谋长提醒矶谷廉介。
“支那军队，不堪一击!”矶谷不屑一顾地说。“王铭章怎么样?够硬的了吧?可最后还不是被我砍得光光，落了个全师覆灭?!”
此时的矶谷廉介变得骄狂无比，除了台儿庄，眼前已没有中国军队的阻力了，迫不及待、不顾一切地要把屠刀砍向台儿庄。尤其是得知他的兄弟部队板垣师团在临沂战败而不能南下台儿庄会师时，他更是冲动异常，当即决定：挥师南下，迅速攻占台儿庄！他不仅要独占台儿庄、徐州，而且企图一直打过淮河，夺取独占贯通中国南北战场的赫赫战功!
20日，日军第10师团的右追击部队攻占韩庄，隔运河与中国守备部队对峙，左追击队攻占峄县。这时候，鲁南战局的重心移到左翼的津浦铁路。日军面临继续从津浦线南下，直扑徐州，还是向东南展开，夺取台儿庄，突破运河防线，再西取徐州的抉择。日军指挥机关决定放弃前者而选择后者，这是因为：
第一，津浦路正面韩庄以南，山地重重，不利于进攻作战，且仅沿铁路一线，长驱直下，其点、线易受侧面中国军队的攻击，而津浦路东面的枣庄、峄县至台儿庄一带，地势平坦，利于机械化部队展开。占据了这一地带，可以对津浦路南下的日军起侧翼掩护作用，同时也为进攻徐州做好了准备。
第二，此时沿台潍(坊)公路南下，欲与第10师团对徐州取分进合击态势的日军第5师团坂本支队在临沂受阻，无法按期南下。
日军第2军司令部向第10师团转达了以上情况，并令第10师团濑谷支队分出一部分兵力向临沂方面增援。据此，日军第10师团长矶谷廉介命令濑谷支队长：“必须确保韩庄，台儿庄运河一线，并警备临城、峄县，同时应以尽可能多的兵力向沂州(即临沂)方向突进，协助第5师团战斗。”
濑谷支队长接到命令后，对部队行动方向作了如下部署：
一、停止韩庄方面的推进，以第10联队一部，配属炮兵等，作为韩庄守备队，守备于韩庄附近，运河一线。
二、以第10联队第2大队为基础组成沂州支队，从临城出发，向沂州方向前进，策应坂本支队作战，第10联队主力集结于临城。
三、第63联队配属炮兵等，以主力集结于峄县，确保台儿庄附近运河之线。
四、支队司令部及直属部队集结于枣庄、峄县附近。
这样，南下的濑谷支队主力在临城便掉头向东，伸展于枣庄、峄县附近。