一方面，陆军在华北的“成功”刺激了日本海军的战争野心，他们不甘心让陆军在中国抢了头功，另一方面，海军包括山本在内认识到日本已全面卷入对中国的战争，他们不希望在中国的战争慢吞吞地消耗其准备对美的作战物资，因而坚决主张在中国要害腹地给予猛力一击，以尽早结束中国战争。基于这两种目的，日本海军决定发动更大规模的战争，将在华北的“局部战争”转变成全面战争。
7月12日，日本海军军令部秘密制定对华作战方案：首先在战争的第一阶段，配合陆军进行华北作战，然后在战争的第二阶段，在陆军的配合下进行上海作战，将战争扩大到华中和华南。在山本五十六之前担任海军次长的第3舰队司令官长谷川清中将，马上通过关系了解到了军令部的企图，并于7月16日向军令部献策，说什么“要想以武力打开日中关系的现状，解决中国问题，只有惩罚中国，使中国的国民党中央势力屈服。”为了实现这一目的，应取消以“讨伐第29军”为第一目的、“惩罚中国”为第二目的的方针，把“惩罚中国”作为作战的惟一目的。他力主派出5个师团的兵力进行京沪之战，叫嚣“欲置中国于死地，以控制上海和南京最为重要。”海军首脑经过协商，于7月28日电令长谷川清，立即撤退长江沿岸的日侨，为华中作战作准备。
其时驻上海的第3舰队和海军特别陆战队共有4000多人。第3舰队辖有第10战队、第11战队和第5水雷战队，以巡洋舰“出云”号为旗舰。
8月8日，日本驻华大使川越茂到达上海，连日与日方驻上海总领事冈本、领事青冈范五以及长谷川、海军武官本田辅等研究上海的形势和对策。随着日侨撤退的顺利进行，同一天，长谷川下令第3舰队作好开战准备。
至8月9日，日本将在长江沿岸地区各城市约3万人的侨民大部分撤到上海，另一部分因中国已于8月12日夜用沉船阻塞了江阴水道，改乘火车由南京去青岛。一俟撤退完毕，日本的态度立即强硬起来，这预示着上海的激战即将来临。
8月9日下午5时30分左右，日本海军陆战队驻沪西的第1中队长大山勇夫中尉和一等兵斋滕与藏，驱车冲过上海虹桥机场警戒线。中国保安队喝令停车，大山竟开枪射击，打死保安士兵1人。中国保安队当即予以还击，击毙大山等人。上海市长俞鸿均闻讯后，立即与日方领事进行交涉，谋求以外交途径解决冲突。但日本以“着日本海军制服的军人被中国军队所杀，是对皇军的极大侮辱”为借口，乘机要中国政府立即撤出市内保安部队，拆除军事设施，并以武力相威胁。8月10日，长谷川电令在其国内佐世保待命的第8战队、第1水雷战队、第1航空战队、佐世保镇守府第1特别陆战队、吴港镇守府第2特别陆战队向上海开进。接着，日本陆海军紧急协商向上海派兵问题，得到内阁同意。12日夜，根据米内海相的要求，内阁召开有首、海、陆、外参加的四相会议。海相正式要求陆军出兵，各大臣皆无异议，确认了向上海派兵的方针，以第3师团、第11师团为基石楚组成上海派遣军。
8月13日下午，进入阵地的日本海军陆战队在八字桥地区的伊藤茂第3大队首先向刚到达该地的国民党军第88师进行突然袭击，中国守军奋起反击，淞沪会战爆发。11月12日，上海市区陷于敌手。淞沪会战历时3个月，日军以伤亡4万多人的代价结束了会战。淞沪会战是由日本海军直接发动的，作为海军次长的山本五十六时刻关注着中国战局的发展。尽管他对陆军存有反感，不赞成陆军扩大对中国的侵略战争，但在战争扩及上海后，他改而积极主张一举击垮中国，并积极地为日本顺利增兵作了大量的工作，尤其是其调动海军航空兵，在战争头8个月中，担负起了支援陆军、在前线进行俯冲轰炸，对中国内陆城市进行远距离战略轰炸等主要任务。因此，山本五十六的手上同样沾满了屠杀中国人民的鲜血。