但是在疯狂的防御准备和激进的修饰背后，日本高层也在暗中一致努力试图光荣地结束战争。自从“珍珠港偷袭事件”以后，美国就一直要求日本无条件投降。因而，对于日本人而言，“光荣地结束战争”仅仅意味着不能接受美国提出的无条件投降的要求。从去年夏天开始，少数日本外交官就秘密派遣密探潜入瑞士、瑞典和苏联，希望找到谋求和平的途径，因为这几个国家的日本大使馆是日本与西方保持联系的少数几条途径之一了。
因为各种原因，那些早些时候派出去的密探没有带回令人鼓舞的消息。随后，1945年4月，斯大林的一个举动使日本人加快了他们和平努力的步伐。苏联通知日本当《苏日中立条约》第二年期满时，他们不会再续约。此时，这两个国家还保持着外交关系，但很明显，苏联正准备参战反击日本。日本当然不希望在抵抗美国的同时，还要提防“苏联熊”从背后偷袭。此时恰逢小矶国昭辞去首相职务，他的继任者是78岁的男爵铃木贯太郎，铃木宣称：“我们没有选择，只能战斗。”然而，铃木私下里却授意外交部长东方茂德可以以任何方式寻求和平，他对茂德说：“在外交事务方面，你拥有一支自由的手。”
但是，日本人依然谨小慎微，而且来自高层的指令常让下属摸不着头脑。5月初，日本的海军武官藤美次郎中校从柏林潜入瑞士，希望在伯尔尼与战略情报局的领导艾伦·杜勒斯商谈和平进程。但是，当藤美次郎把他的计划上报给东京后，却遭到警告：“敌人是狡猾的。”于是他不得不停止努力。
5月12日，日本战时最高委员会在召开会议时出乎意料地提出了寻求和平的议题。委员会成员包括举世闻名的“六要员”：首相、外交部长、陆军部长、海军部长以及海军和陆军的参谋长。会议中途，海军部长米内光正上将斗胆建议应该让苏联从中促成日本和西方签订一个协议，他的提议使在座成员颇为震惊。外交部长东乡认为米内的提议很不现实，因为苏联很快就会对日宣战。但是陆军部长阿南帷几将军认为可以利用苏联，因为他们肯定希望日本成为美国与其亚洲盟国之间的缓冲器。铃木命令东乡起草一份与苏联洽谈协商的备忘录，东乡考虑到即使他不同意，陆军部长阿南和他的军队也会与斯大林联络的，因此他只好勉强同意了这项提议。
两天之后，也就是5月14日，东乡向最高委员会提交了备忘录。“苏联应将对德作战的胜利归功于日本，因为我们一直保持中立，”他宣读道：“帮助日本保持其国际地位，对于苏联而言是极其有利的，因为未来他们将把美国当成敌人。”