24日凌晨4点，日军乘小艇靠岸，从香口江边登陆，向第三一三团发起猛攻。守军主官不在，全无准备，无人指挥，阵地乱成一团，香口很快失守，随后丢失了香山。
在马垱要塞阵地，海军守备第二总队的总队长鲍长义作战经验丰富，责任心很强。他把所属的三个陆战大队部署在马垱以东的长山，依托八个钢筋水泥工事进行防守。他预感到敌情严重，没有派部下的军官去参加训练班，23日接到开会通知，也没有执行，命令所部军官坚守岗位到第二天拂晓。他自己一直呆在阵地观测所，最早获悉香口失守，马上向武汉江防司令部报告，命令所部严阵以待。
果然，日军在占领香口和香山之后，立刻向长山发起猛攻。日军步兵组成三个突击组，抬着重机枪，从太白湖口的水荡里向长山步兵阵地突击。从太白湖到江边，原是一片稻田，因江水上涨，漫过圩堤，开阔的水田变成了湖荡。日军进入湖荡，半截身子陷在水里，重机枪火力不能发挥。守军阵地上的轻重机枪一齐开火，火力异常猛烈，日军纷纷中弹，在湖荡中倒下。
日军上午组织两次突击失利，下午又发动两次进攻，都是有来无回。日军见步兵进攻要塞毫无进展，便出动十多艘军舰，向长山步兵阵地炮击。日舰做S形游弋，每一次旋向射击，就有一百多发炮弹如雨点般落在守军阵地上，摧毁了部分工事，造成伤亡，战况十分激烈。香口的日军趁势再次由湖荡向长山突击，企图凭借强大火力的掩护突破防线，仍被鲍长义的部队消灭在湖荡之中。下午6点，蒋介石和陈诚从武汉来电，对第二总队官兵传令嘉奖。
25日，李蕴珩军第六十师在空军配合下，向登陆的日军展开反击，试图收复失地。中国空军猛烈轰炸江面的日军，击沉日舰两艘，重创一艘。步兵在空军掩护下发起反冲锋，将日军逼退到长江边，当天中午就收复了香山和香口。下午，日军不断增援，在舰炮的掩护下登陆，大举反扑，这两个地方再度失陷。
与此同时，日舰炮火继续猛轰长山阵地，守军坚守两整天，伤亡重大，战斗力减弱，急待补充 鲍长义多次请求增援，在白崇禧严令之下，李蕴珩派驻防彭泽的第一六七师前往，但师长薛蔚英拖延时间，故意从小路缓慢行进，直到长山失守，他的部队还没有赶到。
日军从太白湖口的湖荡，经过两天十多次的突击，都没有得逞，就开始使用毒气。26日拂晓，日军乘守军啤惫不堪时，以藏石矶江边堤坝芦苇为掩护，悄悄摸到长山西端第二总队第七中队阵地前施放毒气弹，风正好朝第七中队的方向迎面刮来，官兵们没有防毒设施和经验，几乎全部中毒身亡。
日军发射的毒气有两种，一种叫“红剂”，化学成分为二苯氰砷；一种叫“特种烟”，杀伤力更大。日军在武汉会战中，共使用毒气三百七十五次，发射毒气弹四万发以上。为掩人耳目，日军常在施放毒气时，将发烟筒和催泪弹一起使用，毒气散去后立即猛攻，打扫战场，不留痕迹。
清晨，日军几艘汽艇在飞机掩护下，冲入江面漂雷区，用火力引爆水雷。接着，大量舰艇载着陆战队从藏石矶登陆。日军在香山的炮兵和江面的海军都增强了火力，轰击长山阵地。到中午，长山阵地已被日军切为几段，中国炮兵打完了所有的炮弹 鲍长义眼看长山阵地危在旦夕，援兵无望，只得下令撤退，马垱要塞遂告陷落。
蒋介石得知马垱要塞失陷的消息，在武汉大发雷霆，他深知这实际上是丢失了长江的门户，直接威胁武汉安全。从这里再往西去，湖口和九江都无险可守。他命令部队全力反攻，务必收复马垱要塞。陈诚更是对攻克香山和马垱要塞的人各悬赏五万元，而警告作战不力和畏缩不前的人，要用军法制裁。
李蕴珩军和刘多荃第四十九军遵照陈诚的死令，向香山的日军发起大反攻，再次收复香山，重创了日军。但是，日军援兵猛扑上来，激战几天，守军终究没能收复马垱要塞。李蕴珩因疏于防范，作战不力，受到军纪制裁，由董钊接任第十六军军长，而薛蔚英更因贻误战机而被枪决。
日军攻陷马垱要塞后，29日派爆破队炸开马垱封锁线，疏通了长江航道。随之，波田支队在海军协同下，沿江继续西进，攻占了彭泽。7月1日起，日本陆海空军猛攻九江门户湖口，刘雨卿的第二十六师奉命死守，经过几天激战，波田支队施放大量毒气，突破了守军阵地，湖口失守。
7月5日，畑俊六收到日军大本营关于武汉作战的具体指示，明确了主攻方向是长江两岸，而不是江北的大别山南麓或北麓，主攻部队为冈村宁次的第十一军，下辖五个师团和五个支队。
日军的这个计划，使蒋介石在武汉会战初期对日军主攻方向做出的判断落空了。蒋介石的依据是，日军在攻打南京时没有选择从长江两岸进军，而裕仁这一次偏偏就把长江两岸选定为主攻方向。
日军根据这个新的选择，马上就要攻打庐山脚下的九江。日军夺取了这个战略要地，西进可以夺取武汉，南下可以包抄南昌和长沙。蒋介石大为震惊，连忙部署十万大军防守九江。
冈村宁次的第十一军向九江扑来，伊东政喜的第一○一师团推进到湖口附近，接替松浦淳六郎第一○六师团的守备，波田支队和松浦师团与海军协同进攻九江，并准备攻打瑞昌和德安，稻叶四郎的第六师团则从潜山向太湖、宿松和黄梅进攻，策应溯江部队作战。7月22日，冈村将他的战斗指挥所推进到湖口的石钟山下。