会战之初，中国军队投入兵力为3个师又1个旅、炮兵1个团又1个营、上海市警察总队、江苏保安队2个团，另有海军轻巡洋舰及驱逐舰10艘、炮艇、鱼雷艇20余艘；空军参战飞机250余架（兼顾南京等重要地区的空防）。陆军分为左右两翼，左翼军为由京沪警备部队改编而成的第9集团军，总司令为张治中。右翼为张发奎担任总司令的第8集团军，由苏浙边区部队改编而来。前者在浦西负责扫荡日军据点，后者在浦东担任警戒、支援和配合。这两个集团军都属第三战区管辖。淞沪会战刚开始没多久，中国政府就成立了大本营，以蒋介石为大元帅，编定全国战斗序列，将江苏长江以南（包括南京、上海）及浙江地区划为第三战区，以冯玉祥为司令长官、顾祝同为副司令长官。蒋虽任命冯玉祥为主官，骨子里对其并不信任，故用心腹干将顾祝同副之，并特地交待"以顾副长官之命令为命令"，这样一来冯的司令长官不过是个空架子，什么事也管不了。"八.一三"淞沪开战之后，冯玉祥曾写了7条遗嘱，表明抗战决心，并不惜准备随时为国赴死，如今这位昔日叱咤中国政坛的风云人物有心杀敌，却无处使力，只好无奈地对别人说，自己上任期间只能做两件事："一是任日本飞机来炸，二是作几首骂日本人的诗"，这句自嘲的话，听来不免让人觉得无比悲哀。
8月下旬，中国各部队继续围攻盘踞在海军陆战队司令部、杨树浦等据点的日军，新抵达战场的国民党军精锐之师第36师迅速投入战斗，在战车掩护下攻入汇山码头，同时空军再次出动配合，轰炸地面及江上日军目标。我军终因装备低劣、火力不够威猛，面对钢筋混凝土筑造的工事而一筹莫展。中国仅有的装甲部队--南京装甲团配属第36师的两个连战车既无强大火力保护，又缺乏与步兵协同作战经验，反被日军舰炮悉数摧毁，两连官兵也全部覆没，壮烈殉国。从8月20日晨至8月22日，宋希濂第36师、王敬久第87师、孙元良第88师和夏楚中第98师的进攻均受阻。此时战局陷入僵持，日军龟缩据点一面负隅顽抗，一面等待援军。中国军队竭尽全力仍不能有太大进展，部队伤亡严重。8月23日拂晓，增援日军先头部队在海空火力掩护下，在狮子林、川沙口、张华浜等方面登陆，战况骤然吃紧。蒋介石闻讯，急忙命军政部次长陈诚为第15集团军总司令，指挥第98师、第11师及刚到嘉定的第67师、第14师火速分赴各处抗击敌人登陆。
眼见情况不妙，蒋介石深感有亲自到前线督战的必要，一来能鼓舞士气，二来可以就地掌握第一手情况好作出相应部署。8月25日，蒋介石偕夫人宋美龄及顾祝同、陈诚等一干高级将领，冒着瓢泼大雨从南京急匆匆赶到南翔，召集军事会议。冯玉祥也冒雨从无锡的第三战区司令长官驻地赶来。会议先由各师逐一报告战况，之后张治中汇总条陈，蒋介石最后发表讲话："综观近日之战况，我军伤亡奇重。战争固不能免于伤亡，然指挥失当，致使死亡猛增，牺牲殊无价值。我军缺点在于攻击实施之前，未能充分考虑，轻率从事，牺牲也就大。今后应悉心研究，当攻则攻，当避则避。"显然蒋介石话中有话，一句"指挥失当"、"轻率从事"将责任推给了冯玉祥。冯尽管一肚子委屈和愤懑，却也无可奈何。
会后，蒋介石对他不满意的第三战区进行了人事调整，实际上只是调了一个人，那就是冯玉祥，他被调到新成立的第六战区去当司令长官去了。第三战区司令长官的职务由蒋介石本人兼任，顾祝同仍为副司令长官。蒋介石这么做，有他的考虑：一是随着战事深入，双方都在不断增兵，规模还有继续升级的势头，由自己亲自担任第三战区长官，足以向外界说明他重视的程度；二是让冯玉祥指挥并不是其手下的中央军和各个杂牌军组成的前线部队，显然不能得心应手，而第六战区在北方，那里多为冯的旧部，指挥起来比较容易。不过冯的确跟蒋合不来也是一个重要事实，冯玉祥不满自己被闲置，老是发牢骚说怪话，也招惹了蒋介石的极大不痛快。据说白崇禧也对冯看不过眼，白当时担任副总参谋长，往来京沪之间视察，见其每天不理前方战事，只管"作诗骂人、不务正业、不干正事"，回来向蒋介石作了汇报，建议调走冯玉祥。冯与蒋的矛盾和隔阂自此进一步加深，抗战胜利后，冯对蒋热衷打内战和镇压民众的倒行逆施行为极为愤慨，公开反蒋，蒋介石下令开除冯玉祥的军籍、党籍和公职，两人彻底决裂，这是后话.