可是事隔不久，陆军就要与德国缔结针对美国的条约，这自然不能为山本所同意。本来与德国结盟的意图在于压迫苏联，以有利于日本尽快结束在中国的战争，而现在又要同英、法、美为敌，这岂不是违背初衷？山本基于这一理由，支持海军大臣米内光政在内阁会议中持强硬态度。但陆军也不相让，11月1日，德国正式提出条约草案。11月11日，首、陆、海、外、藏五相举行会议，会上新外相有田八郎就与德国结盟问题作了谅解性的说明，强调“本协定主要是针对‘苏联’，但英法等国一旦加入苏联方面则即成为对象，英法等国本身并不 是对象。”由此会议才通过了促进早日缔结日、德、意三国协定，并决定参考德国方案，迅速制定日本方案。但大岛浩与陆军坚持接受德国方案，不同意只把苏联作为对象。走投无路的近卫内阁，不得已刚过新年便于1939年1月4日提出辞职。
1月5日，枢密院议长平沼骐一郎出面组阁。在新组建的内阁中，海军大臣米内、陆军大臣板垣和外务大臣有田等主要阁臣皆未变动。刚刚成立的平沼内阁碰到的主要问题仍是三国同盟问题。1月6日，德国向日本与意大利重新提出三国同盟方案，其内容与1938年11月1日提出的方案完全一样。这一次平沼内阁打算在很大程度上满足德国的愿望，但仍没有走得像陆军所要求的那么远，只是答应可扩大到苏联以外的“第三国”，但如德国直接攻击苏联以外的第三国，而苏联未参战时，日本仍要视情况决定是否援助德国。
这一妥协不为陆军中的右翼分子所满足是在预料之中的。刚升任驻德大使的大岛浩和驻意大利大使白鸟坚决要求完全接受德国的方案，并在与纳粹外长里宾特洛甫谈判时，以欺骗手段答应了德国的要求。对此有所察觉的天皇，特意训令平沼首相，如果驻外机构不服从国内训令时应召回或作适当处理。为此内阁迫不得已，改变了过去以电报发出训令的办法，而采取派遣由外务、陆军和海军组成特使团的办法，直接到国外去传达国内的指令。
特使团于2月下旬前往德国和意大利，向大岛和白乌两位大使传达国内关于缔结三国同盟条约的指示。然而，可笑的是这两位大使不仅不服从政府的指示，反而向外务省提出要按照德国的要求，以苏联以外的第三国为对象，包括武力援助在内。由于两位大使在外拒不执行国内政府的命令，并分别答应里宾特洛甫和齐亚诺说，在德、意与英法开战时，日本将负有参战的义务。这是明目张胆地无视国内指令，超越权限的独断专行。海军大臣米内光政在山本五十六的支持下，坚持要将大岛和白鸟召回国内，但遭到陆军的反对而未果。
到了5月，德国外交部条约局局长高斯提出了妥协案。这个妥协案虽然在表面上作了若干让步，但实质上却和过去的德国方案没有什么区别。5月7日，五相会议研究了高斯方案。陆相和首相主张立即接受，但海相米内坚决反对。为讨论三国同盟问题，平沼先后召集了70多次五相会议，每次都毫无结果，一直到8月下旬，平沼辞职。
德国等得不耐烦了，而日本的答复就像日本人喜爱的一种套箱一样，箱子里面还套有更小的箱子。于是5月21日，对于日本的迟疑已急不可耐的德国，便先和意大利缔结了“钢铁盟约”。在这一形势下，日本国内法西斯分子掀起狂热的反英运动，海军首当其冲成为他们攻击的目标，尤其是山本五十六更成为他们所痛恨的对象。由于海军大臣米内光政一向寡言少语，看起来十分木讷、柔弱，在社会上有“金鱼大臣——装饰”之称，因此对海军的非难主要集中在了果断坚决、爱出风头的山本身上。社会上到处传言，说山本是米内的真正后台老板，指责山本是阻止签订三国同盟的“绊脚石”和幕后策划者，是“亲英美分子”。就连他参加了一次英国大使馆的电影晚会也受到大肆攻击。
其实事情远不是如此简单。日本海军很早就已经确定美国为其假想敌国，而且在为最后与美国决战做着严格而精心的准备。早在1936年9月，海军即任命了预备役海军大将小林跻造为台湾总督，把长期以来一直由文官担任的台湾总督一职改由海军武官担任。接着又在1938年4月，在总督府内新设了一个专门负责筹划南进政策的海军武官府，为最后实施南进做准备。1939年2月，帝国海军完成了对海南岛的占领，3月又占领了南中国海战略地位十分重要的中国南沙群岛。海军的目标是确保日本国家的战略资源，只要日本海军一旦可以——哪怕是短暂的在太平洋上占据优势，它就可以夺取马来亚的橡胶和婆罗洲、荷属东印度的石油而免于从西方进口。那时，也只有那时，它才可以向西方国家挑战，同他们公开较量。
显然，山本等人和陆军的不同之处就在于如何寻求最有利的时机和最佳的方案，以确保日本立于不败之地，称霸西太平洋。从这一点而言，山本所代表的势力，较之陆军的无谋，更加阴险狡诈。事后的历史也证明了这一点。
◎极右分子扬言：杀死山本！
尽管山本五十六是如何地从日本帝国扩张的利益出发，坚决反对日本与德、意结盟，但当时日本国内的极右势力并不理解山本的这“一片苦心”。
在是否结盟的大争论中，以山本为首的反对派明显地处于少数地位，因而经常受到攻击也就并不奇怪了。