此时，日军左路的第一线和第二线兵团，夹击和围攻浏阳地区的中国守军机动部队王泽浚第四十四军、傅翼第七十二军、鲁道源第五十八军和罗奇第三十七军，打得这几个军乱成一团，纷纷向江西边境突围溃退。
整个战区乱了阵脚，陷入被动挨打的局面。
薛岳急得顿足捶胸，叫苦不迭，只得向各集团军、各军下令：“各部队索敌攻击。”
长沙城处于万分危急之中，日军兵团汹涌而来，其锐气在推进途中丝毫未受挫折。
岳麓山守军力量单薄，在日军连日猛攻下，渐呈不支状态。
张德能这时才知道赵子立的意见是正确的。他想从城内抽一个师增援岳麓山，但城内船只早已派去疏散物资，无船可用。
16日深夜，岳麓山外围阵地失守，山上的炮火支援受到削弱。湘江东岸，日军疯狂地向城内猛扑，突破了城内部分核心阵地。
张德能面临的情况万分险恶，如果岳麓山失守，城内的两个师将被全歼。他命令第一○二师抢渡湘江，增援岳麓山。
战况惨烈，从城里撤退的第一○二师官兵，以为是从长沙撤退，拥到江岸时，便争相渡江，秩序大乱。队伍过江后，沿着岳麓山至衡阳的公路退却，张德能还蒙在鼓里。
几天来，他到城内各阵地督战，成天被日军飞机炸、大炮轰，早已啤惫不堪。那天夜里，他将守城的任务交给第五十九师师长，带着几名卫士乘船过了湘江，准备亲自去镇守岳麓山。他来到湖南大学，已是凌晨4点，走进屋子，一头栽倒在地，呼呼地睡了过去。岳麓山上百十门大炮的吼叫，也没把他吵醒。
17日早晨，最先醒来的卫士看见外面江边上第一○二师的官兵往衡阳方向跑，赶忙推醒军长。张德能勃然大怒，冲出去“砰砰”朝天放了两枪，大声吼道：“统统回来，不回来我枪毙你们”但是晚了，该师大部已在天亮前撤退。
18日早晨，岳麓山失守。
同一天，城内的第五十九师见岳麓山被日军攻占，失去了依托，只好突围出城，向浏阳方向撤退。长沙失守。
蒋介石得知败讯，十分震怒，连连责问：“第四军是怎么搞的，谁叫他们撤退？”他接到孙连仲第六战区第二十四集团军王耀武从湘北前线打来的电话，说他奉命率部增援长沙，被优势日军堵截在益阳地区。他曾打电话找赵子立请求任务，赵子立说，在守卫长沙的问题上，他和张德能意见分歧，张德能固执己见，将主力放在城内，看来长沙是守不住了。他身为战区代参谋长，却不能指挥长沙防卫战，希望王耀武据实报告委员长。
蒋介石对张德能失守长沙怒气冲天，立即下令：赵子立和张德能前往重庆，向军委会汇报长沙作战经过。
蒋介石要的两个人刚到重庆，张德能就被军法执行总监部逮捕下狱。后经军法部审判，确认他在守卫长沙城的战斗中犯有罪行，判处死刑，于当年7月枪毙。赵子立在长沙守卫战中被张德能架空，未负实际责任，免予追究。
长沙失守，蒋介石为确保衡阳，决定在渌水至衡山地区采劝中间堵、两边夹”的战略手段，将长沙地区的日军阻挡在渌水以北。他电令薛岳迅速调整部署，达成以上战略目的。
但是，由于战场形势剧变，蒋介石的战略企图变成了画饼。
薛岳接到蒋介石的电令时，第九战区仍在执行“各部队索敌攻击”命令，实际上，是各部队都被日军追踪攻击，根本无法收隆兵力，组织实施蒋介石的战略计划。直到23日，薛岳才与各部取得联系，下达各自的集结地点和攻击目标，但为时已晚了。
中路日军第一线兵团，在第二线兵团围攻长沙城时，便沿长沙东侧继续南下，好像是为了阻击从衡阳北上增援长沙的中国军队，实际上另有他图。当日军第二线兵团刚刚攻下长沙，已经过一定休整和补充的第一线兵团，立即从株洲附近沿湘江两岸向衡阳推进，行动迅速，一鼓而下。
在湘江东岸，佐久间师团疯狂南进，到达衡山地区，与守军打了两天，于23日清晨抢渡洣水，当晚进抵衡阳东南郊区的泉溪，并连夜渡江。24日白天，该师团主力冒着美军飞机的轰炸扫射，继续强行渡江。
岩永旺师团与东岸日军齐头并进，于23日到达衡山地区，迅速突破守军防线，26日抵达衡阳附近，迂回到衡阳城西郊。
同时向南突进的还有赤鹿理师团。它在日军攻下长沙城时，从江西上栗突然南进，穿过萍乡、攸县和安仁等县境，在衡阳东北方警戒井冈山地区的中国部队，以保证进攻衡阳城的日军的侧背安全。
这三个师团的日军，都是在中国军队企图中间堵、两边夹的部队尚未部署到位时，就顺利突破了险峻地域，成功地打了一个时间差。
日军快速部队在衡阳郊区的进攻打响一天之后，杨森集团军和王陵基集团军才在渌水以北的湘赣边境山地集结起约十五个师的兵力，向醴陵地区出击。但是，这些部队尚未充分展开，便遭到日军三个师团的抢先攻击，拳头尚未捏拢就被冲散。
湘江西岸的王耀武集团军，也没料到日军南下如此之快 本来要调集各军与东岸的川军夹击日军，可是还没来得及集结部队，东岸的川军就被冲散了，而日军已在攻打衡阳城，在此夹击日军已失去意义。王耀武便令李天霞第一百军和施中诚第七十四军各一部，跟踪向南追击日军，又令其他各军迅速向安化、新化和宝庆地区集结，准备去解衡阳之围。
第四次长沙会战是长衡会战的第一阶段，而长衡会战又是日军为援助南洋日军而进行的打通大陆交通线作战的重要组成部分。在第四次长沙会战中，中国守军多次打退日军的进攻，给日军以重创，但是由于薛岳的轻敌和张德能的指挥失误，未能阻挡日军的大规模进攻。