第二天，日军继续猛攻，仗着优势兵力，多次突破守军阵地，又多次被守军夺回。敌我白刃相接，血肉横飞。由于浏河守军大部分调到正面增援，日军第十一师团趁机强行登陆，守军一个连及少数义勇军寡不敌众，日军侵占了浏河，向嘉定方向急速推进。
浏河失陷，第十九路军侧面及后方都遭到严重威胁，指挥部迫不得已，当晚下令全军退守第二道防线，在黄渡、方泰、嘉定和太仓一带布防。张治中率部转移时，在葛隆镇与日军激战，第五一七团奋力阻击日军，使撤退的中国军队避免了被日军切断退路的危险。
蔡廷锴后来谈到了撤退时中国军队的士气：“我军苦战月余，官兵日夜不得休息，后援不继，休整无暇，但士气始终旺盛，当退守时，无不义愤填膺，声泪俱下，决心要雪此深仇巨恨”
对于第十九路军的撤退，埃德加·斯诺也有一段评论：
出乎许多人意料之外，这次撤退并不是溃败。……和我谈过话的外国军事观察家，全都称赞蔡将军指挥这一有秩序的战略撤退很能干，在战术上也很正确。在所有能移动的大炮都被撤走之后，部队才撤出前线，几乎没有发生抢劫和混乱。撤退进行得这样安静，掩护得这样巧妙，闸北的日本海军到天亮才发现敌人已经离开，他们整夜炮轰的已是空的战壕和工事。
淞沪战役，第十九路军和第五军牺牲四千多名官兵，近一万人负伤。据日本的资料，日本陆海军七百六十九人死亡，二千三百二十二人负伤。而白川、野村和植田这几名日军首领，不久就被朝鲜独立党党员尹奉吉在上海投掷炸弹炸伤，不到一个月，白川在医院死亡。同时被炸伤的还有日本驻华公使重光葵和驻上海总领事。这些日本人在外国炫耀武力，受到了应有的惩罚。
中国守军正在构筑工事准备坚持抗战，突然传来消息：国际联盟要求中日双方停止战争。5月5日，南京政府与日军签订了丧权辱国的《淞沪停战协定》。蒋介石命令第十九路军撤离原定的第二道防线，开往福建。张治中的第五军奉命复员。蒋介石出卖了淞沪抗战，抗战官兵的心情，用张治中将军的话说，真是“不胜感慨沉痛之至”。