至10月28日，第三战区中央作战军和左翼作战军，进入由浏河、沈家桥、朝王庙、徐家行、广福、陈家行、江桥、北新泾至梵王渡一线35公里长地第二期既设防御阵地。
在中国军队转移过程中，日军企图乘势掩杀，多次实施进攻，但在我各掩护部队的阻击下，未能越过苏州河。中国军队的反击未能成功，但撤退却组织得很有秩序，其中涌现了不少可歌可泣的英雄壮举。
26日清晨，中央作战军各部正在后撤之际，坚守闸北阵地的第88师师长孙元良突然接到战区副司令长官顾祝同直接打来的电话："委员长想让第88师留在闸北，死守上海。你的意见如何？"孙元良略加思索，当即表示反对说：
"我不同意，这样做毫无意义。如果我们死1人，敌人也死1人，甚至我们死10人，敌人死1人，我就愿意留在闸北，死守上海。最可虑的是，我们孤立在这里，于激战之后，干部伤亡了，联络隔绝了，在组织解体，粮弹不继，混乱而无指挥的状态下，被敌军任意屠杀，那才不值，更不光荣啊！第88师的士气固然很高，并且表现了坚守闸北两个多月的战绩，但我们也经过5次的补充啊！新兵虽然一样忠勇爱国，但训练时间较短，缺乏各自为战的技能。这是实际情形，所以我不同意。"顾让他再考虑考虑。为了说明情况，孙元良派参谋长张柏亭面见顾祝同。张在沪西中山大道第51号桥的竹林中的茅屋内见到了顾，顾开门见山传达了蒋介石的意图：要第88师留在闸北作战，把连、排、班分散开，依托市区坚固建筑物及郊区大小村落，寸土必争，一直坚持到11月。因为11月某日国联要在日内瓦开会，中国将派代表前去控诉。因此从国际观瞻角度，为唤起世界舆论同情，必须要一支部队在苏州河以北坚持。之所以选中88师，是因为88师对日斗争有经验，名声也好听云云。
孙元良当然明白老蒋这一招的政治用意远大于军事意义，狡猾的孙既不想违背蒋的旨意，又不愿意让全师送死，最后几经折中酌商，顾被迫同意孙提出的仅留1个加强营在四行仓库作象征性抵抗的建议，此加强营以524团1营为骨干，仍用团的番号，由中校团副谢晋元指挥，编制1个机枪连、3个步兵连、1个迫击炮连，共约450人左右。为对外迷惑敌人，后来谢在回答记者提问时称有800人，于是，八百壮士孤军坚守四行仓库，就这样铭刻在历史上。
之所以选择四行仓库，是因为背靠租界，地形易守难攻。之所以选择谢晋元，是看中其为人沉稳干连、勇敢果毅。谢晋元，字中民，广东蕉岭人，黄埔四期政治科毕业，历任排、连、营长，参加过北伐战争，多次光荣负伤，淞沪会战后调任88师524团团副，时年33岁。谢虽为黄埔生，无奈无派无系，只知埋头苦干，因此升迁较慢，比他小3岁的孙元良、宋希濂等人早在6年前即已为少将旅长，而谢还是一介中校团副，真是人比人，气死人。这次又命中注定在敌后孤军作战，注定是死。但在国家民族的利益面前，谢晋元别无选择，他大义凛然而又悲壮地领受了这一任务。早在抗战前夕，谢即把妻儿送回老家，他对妻子说："为国杀敌是革命军人之素质也，职责所在，为国当不能顾家！"
蒋介石听说谢晋元决心以身殉国，很是感动，破天荒地特意给这位中校团副打来嘉勉电话。除了空洞的套话之外，蒋也实在说不出什么，本来他也只是政治作秀，留下点部队坚守不过打给外国人看看而已，不抱任何希望。10月26日夜，88师主力撤出闸北。谢晋元率524团1营进入四行仓库。四行仓库因充当了当时上海的金城、盐业、中南、大陆4个银行的堆货栈而得名。楼高6层，墙壁坚厚，长120米，宽15米。法式建筑，钢骨水泥浇筑框架，花岗岩条石砌墙，异常坚固。且有地下室隐蔽。地处苏州河北西藏路西侧，门前是光复路，左前方是新垃圾桥，与公共租界仅隔一条苏州河。仓库中原有88师师部，弹药、粮食、饮水储备都极为充分，至少可供留守部队坚持半年以上。从环境上看，除背靠英租界之外，其余三面均为平房，利于观察射界开阔。日军如果发炮攻击，极有可能落在英租界。
谢晋元率部队进入仓库后，迅速用装满大豆、小麦、羊皮和猪鬃等物品的麻袋构筑好工事，破坏了电灯，将仓库周围障碍扫清，随后他召集全营官兵，本来平时不喜欢言辞、沉默寡言的谢晋元作了慷慨激昂的战前动员：
"弟兄们，外面的形势你们都看到了，我们不久将孤军作战。敌人可能有几千人、几万人，我们的大军已经西撤。我们也可能坚持几个月，几十天，或者几个星期，但是我们必须坚持。……我们虽为孤军，其实我们也不孤单，全中国四万万同胞都和我们在一起，上海的每一幢房屋都有我们的同胞，他们的每一双眼睛都在看着我们如何去杀日本人……我们为四万万全国父老乡亲，为全上海几百万上海同胞打仗，让他们亲眼看着我们如何去杀日本鬼子。身为抗日军人，还有什么比这样的使命更光荣、更令人自豪的呢？我们要让我们变成插入敌人心脏里的尖刀……哪怕只剩下一枪一弹，我们也要坚持到底！"
官兵齐声激奋地高呼："抗战到底，誓死不降！打败日寇，报效祖国！"3个月来，这支队伍连续作战，极端疲惫，官兵衣残脸污，但每个人都非常地坚强，抱定必死决心。他们中间有：29岁的福建上杭人少校团副上官志标，1营营长天津人杨瑞符，1连连长陶杏春，2连连长邓英，3连连长唐棣，机枪连连长雷雄……还有那些不知名的排长、班长和士兵们。谢晋元接着部署战斗任务，命1连占领右翼西藏路阵地，3连占领左翼阵地，这两个连防守外围。2连在中间布防，防守四行仓库的周围。机枪连到楼顶负责防空。