覃道善师隶属胡琏军，战斗力较强。覃道善精通孙子兵法，打仗极有路数，日军在多次交锋中早就领教过了。
战斗从早晨打到黄昏，双方伤亡很重，日军不敢恋战，趁着夜幕降临，躲开大道，选择山路，往益阳方向退去。覃道善师一鼓作气，收复了桃江镇和大成桥，接着攻下回龙铺，然后乘胜追击，一直逼近宁乡西郊和益阳南郊。
日军退守益阳城，与覃道善师隔江对峙，眼看着对岸的中国军队频频调动，却不敢轻举妄动。
雪峰山那边，中国军队的后勤供应线畅通无阻，物资和弹药源源不断地补充到第一线部队，增强了士兵的信心和战斗力。
陈纳德感到自豪的是，日军的供应线被他们的飞机炸成了一截一截的“狗肠子”。他听说，圭洞和江口一带的日军已经开始挖野菜充饥了。
5月2日，陈纳德从一万米高空收到了美联社发出的电讯：希特勒自杀了。陈纳德对此深信不疑。他曾经在“小胡子”的画像上画了把叉，当作靶子，训练他的飞虎队员。现在，他叫新闻报道官阿尔索普将这条消息印成传单，交给飞行员，撒向雪峰山战常
德国投降了，对日本内阁无疑是沉重的打击。但日本表面上还在硬撑着。日本内阁对德国的投降发表了一份正式抗议，重申日本决心战斗到最后一人。
冈村宁次心里明白，日本山穷水尽了。他希望日本的结局不要像德国那么惨。无条件投降，是他难以接受的处境，陆军部的同僚们也极力反对。
现在，他的部队进入了湘西守军的防御纵深地带，占据了邵阳至江口的公路。邵榆公路上的日军也西进了一百多公里。但是，中国守军依托雪峰山脉的有利地形，坚守了战略要地。从武冈、城步到绥宁，从绥宁到梅口和兰峡，从武阳到瓦屋塘和水口，还有江口、龙潭司和洋溪等军事要地，虽然几经反复，中国军队仍然牢牢控制在手。特别是机动兵团和预备兵力，都能自如进出于战区各线。又因空军支援有力，后勤能够满足前线需要。何况，整个反法西斯战线节节胜利，轴心国三大支柱折了两根，中国军队的士气空前高昂。
投入芷江作战的日军，实际上是孤军深入，被动挨打。
何应钦决定：在安江召开一次会议，研究下一步作战。蒋介石看到湘西会战能打成这样，有点始料不及，完全同意陆军总部的作战方针。
王耀武接到了“全军应即转入反攻”的命令，下令胡琏军第十一师从辰溪经溆浦直插放洞、山门和石下江，第一一八师则从安化直插新化、洋溪和隆回一线，侧击渡边洋第四十七师团，切断岩永旺师团的退路。原来固守瓦屋塘至江口一线的施中诚军及第一九三师，则分别向洞口和桥头反击。李天霞军及第五十一师同时向放洞和山门反攻；韩浚军从洋溪向大桥边和巨口铺方向反攻。总预备队廖耀湘军也从安江推进到江口。
日本第六方面军司令官冈部直三郎，听说廖耀湘军发起攻击，不由倒抽一口凉气。他早就闻知新编第六军的厉害，而且读过廖耀湘在列多时编写的《森林作战法》，觉得很有独到之处。这本书对中国军队打好芷江会战，自然很有指导意义。他认为廖耀湘军参战，对日军是一个极大的威胁。
“若再不慎重指导，参战部队恐怕会全军覆灭”冈部沉思良久，才吐出这一句话。
情报官眼含泪水，非常理解司令官的忧虑。蓦地，他站起来说：“请司令官下决心放弃夺取芷江的打算”
冈部沉默良久，无可奈何地说：“夺取芷江是总司令官决定的，得到了大本营的批准。”说到这里，他长叹一声，说：“我冈部无权改变这一作战方案呀”语气里饱含着焦急和忧虑。
经过反复斟酌，冈部决定说服冈村，保存实力。在得到冈村的同意后，他在5月4日发布命令：“让第三十四军主力立即向长沙附近集结，准备掩护第二十军撤退。”
汤恩伯的第三方面军各部在结束武阳作战、解除武冈城之围后，集中主力向花园、高沙、黄桥铺及武冈东北地区反击；另一部则向新宁方面出击，对日军形成了战役合围的态势。
靖县山城位于洪江至通道和广西桂林的交通线上，历来为兵家所看重。汤恩伯赶到这里坐镇，指挥前方战事。
5月8日拂晓，芷江机场的所有飞机几乎全部出动，在战区上空盘旋、扫射和轰炸，一时间火光冲天，硝烟弥漫。美国飞机不停地在圭洞上空盘旋扫射，地面的中国军队与之呼应，猛攻日军各个阵地。
四架“乳鹰”P-40巨型飞机的机腹下，临时装置了可带五百七十磅炸弹的弹架，还安上了可带杀伤弹的弹架。
各种山炮、臼炮、迫击炮统统开火，炮声此起彼伏，响彻雪峰山。整个湘西战场，揭开了大反攻的序幕。
日军平原大队的阵地受到强大的攻击，已经招架不祝而日军未永大队正面，有约一个团的中国军队逼近，其中一部已迂回到右侧背，开始全面攻击。空、地协同作战，火力极为猛烈。
日军缺乏弹药，只能白刃格斗，伤亡惨重。
日军第一○九联队长泷寺保眼看形势严峻，拖到黄昏再后撤会更加被动，便当机立断，下令撤退。李天霞军第六十三师和第十九师分别从青山界、椒岭方向追踪而来，抓住机会猛打，一路上消灭日军好几百人。泷寺保的驮马部队进至望乡山时，又被中国军队截住，分割成几段，日本军马纷纷从崖上滚落，嘶声震撼山谷。