横山勇做梦也没有想到，他原来以为一天之内便可踏平衡阳，结果动用了两个师团四万多人的大军，苦战两周，死伤近半，连衡阳城的大门都没有看到。日军部队大量减员，粮食弹药只有四天的储备，后方运输线时通时断，供给难以保证，横山勇只好将全面进攻改为骚扰式的重点进攻，多数建制部队整补待援，准备第二次总攻。
7月11日清晨，沉寂的大地突然开始痉挛，日军阵地蹿起一道道蓝影，在晨光中飞旋着，扑向中国守军的阵地，溅起一团团火光，空气中充斥着连珠般的爆响和炮弹的尖啸。大炮响过，日军第五航空军主力飞临衡阳上空，两个轰炸机大队在一个战斗机飞行团掩护下，对市区和城西山头的阵地反复轰炸和扫射。近十个小时多梯次的轮番轰炸，几乎全部摧毁了守军外围阵地上的据点、工事和战壕，炸断了城内每一条有线通讯，守军司令部与各师、各团及前沿阵地失去了联络，各部队之间，哪怕近在咫尺，也只能靠传令兵来回联络。方先觉下令抢修通讯系统，冒着炮火上前沿巡视督战。黄昏降临时，日军已经向守军阵地压过来。
两军连续拼杀五昼夜，伤亡都很惨重。日军终于撞开了张家山与虎形巢这两扇大门。这场攻防战，进入了守军极其艰难的相持阶段。第十军弹药匮乏，粮食短缺，缺医少药，痛苦和死亡在考验着这支军队。
第十军内缺补给、外无援兵，与多出近三倍兵力的两个日军主力师团和部分配属部队，奋战了一个多月，已是精疲力竭，如果再无援兵，日军就会打进城了。方先觉和副手们每夜站在中央银行防空洞上面，希望听到城外援军与日军交锋的枪声。蒋介石、薛岳和李玉堂，在衡阳守军最艰苦的时日，几乎每天都在向方先觉许诺：援军马上就到，很快就会解围。但是，守军只听雷响，不见雨来。几十天过去了，连个援军的影子都没看到。
援军的行动实在是过于迟缓。王耀武集团军施中诚军的主力长时间滞留在常德，而从广西抽调出来的黎行恕军主力，直到会战进入尾声才到达战场，临到紧要关头全部西撤，被日军各个击破。王甲本军按照蒋介石的命令接防衡阳近郊，意在迟延日军向西南进攻的脚步。王甲本指挥第七十九军撤退，在白地市近郊遭遇日军，寡不敌众，王甲本本人空手搏白刃，血洒荒岭。
总之，第十军战斗到最后一刻，也没把援军盼到衡阳城下。
参与衡阳会战的日军，辜负了东条政权的期望，小小的一座衡阳城，胶滞住几十万一贯自以为无坚不摧、无往不胜的“大日本皇军”的脚步，而日军在太平洋战场又连连失利，东条英机深感挽救颓势无望，国内主战派责备他无能，反战派指责他疯狂，各种力量迫使东条内阁下台。
8月4日，横山勇指挥日军发起第三次总攻。
日军的轰炸机，一批接一批出动，对衡阳市区和城郊尚存的守军阵地，实施地毯式轰炸，一直延续到第二天拂晓。衡阳城像汪洋中的一艘破船，在炮声、炸弹的爆炸声中震颤，摇晃，颠簸。
日军各路部队在惊天动地的喊叫声中，向守军阵地发起攻击。除江防及蒸水方面外，守军阵地的每一区域都遭到日军自杀似的冲锋。守军许多官兵被日军炮火埋葬了，侥幸没被炸死的，没被铺天盖地的土石烟尘深埋的，待日军炮火一停，马上掀掉身上的泥土，继续用手榴弹和刺刀反击日军。
横山勇沉不住气了。这么猛烈的炮火和占压倒优势的兵力，又打了两天多，依然解决不了城外围的守军，他哪里还装得出温尔文雅的风度？他依次摇通每个师团的电话，找到师团长，只说一句话，就挂断电话，去找另一个。他的话很简单，很多中国孩子都会讲，就是日军常说的一句粗话：“八嗄牙路”骂完了，他扔下电话，喘着粗气。
这句话像鞭子，抽得整个前沿阵地的日军像陀螺一般更加急速地旋转起来。
8月5日，日军对守军进行自杀式攻击。中国军队的几十万援军还是一个泡影。方先觉在指挥会议上“放声大哭”。第二天，日军从衡阳西北郊区突入城内，第十军弹尽粮绝，外援无望，与日军巷战，不断击退日军的进攻。战到8日清晨，方先觉对身边的人说：“你们已陪我尽到最大责任，你们各自想办法寻生路去吧，我就死在这里了。”说罢掏抢，而枪已被身旁人取走，方先觉向卫士要枪，卫士不给。方先觉下令全军放下武器，率下属各师长出城向日军投降，日军在日落时分占领衡阳全城。有史料说，日军将投降的官兵全部屠杀。
台湾的出版物中，有的说方先觉被日军“劫持”，是一种遮掩的说法。方先觉做出的投降决定，为第十军广大官兵流血奋战四十八天的衡阳会战，画上了一个不光彩的句点。方先觉本人没有死于日军的屠刀，三个月后的一个夜晚，他逃出囚禁之地，不久回到自己的“空军基地”。蒋介石在重庆云岫楼接见了他，请他吃饭，有蒋纬国作陪。
1944年8月12日的《解放日报》发表社论，题为《衡阳失守后国民党将如何》。毛泽东加写了三段话，指出：衡阳失守是国民党政府和统帅部不要民众与自愿放弃主动权的消极战略的结果。“政府的措施中，没有一件是号召和组织民众起来参加保卫衡阳，保卫西南与西北的。西安国民党人竟在报纸上批评延安在联合国日纪念大会上数万到会民众所表示的保卫西安和西北的坚强意志，认为是‘共产党的阴谋’。总之，一切大好河山，都由国民党包办，不要人民干与。可是国民党先生们啊，它是中国人民生于斯、长于斯、聚族处于斯的可爱的家乡。”毛泽东又说：“坚守衡阳的守军是英勇的，衡阳人民付出了重大牺牲。”