房琯对人说：“贼曳落河虽多，安能敌我刘秩！”什么叫曳落河？这个不是说掉进河里，而是安禄山的精锐亲兵，安禄山“养同罗、奚、契丹降者八千馀人，谓之‘曳落河’”。房琯夸口说虽然曳落河厉害，又安能敌得过我的谋士刘秩呢！他把军队分成三部分：由杨希文率领南军，从宜寿进攻；刘贵哲率领中军，从武功进攻；又派李光弼的弟弟李光进率领北军，从奉天进攻。他自己则是自将中军，为前锋。
我们房大宰相战绩如何啊？十月二十日，唐军前进到便桥一带。第二天，房琯的中、北两军与叛军安守忠所部在咸阳的陈涛斜（一个颇像人名的地名）相遇。房琯此战效法古人，居然用起了几千年都没用过的老掉牙的战车进攻战术，实令人匪夷所思。而且战车所用的牲畜也不对呀，人家是要用马，房琯却用牛来代替，牛虽然粗壮了许多，但灵活性就差了，所以战将都是骑马，骑牛的可太少了，单挑的时候骑牛岂不要吃大亏？《封神演义》里黄飞虎是骑牛，可人家是神牛，你一般牛能比么？何况又是小说，更不能算数了。房琯组织了二千辆的牛车队伍，并让步、骑兵护卫左右——士兵们都用来照顾牛了，真是得不偿失。没准骑兵的马和牛们还聊天呢：“咦，牛兄，您怎么也上战场了？”牛说：“唉，没办法，房大人心血来潮，不敢不来啊。”咳咳，说到哪了？——双方交战后，叛军顺风擂鼓呐喊，牛哪里见过这阵式，都吓的不轻。叛军又放火焚烧战车，顿时唐军乱了阵脚，人畜相杂，死伤多达四万余人，逃命活下来的仅有数千。不难想象啊，因为经过专业培训的西班牙斗牛士们还经常会出事，何况和牛一样也没见过这种阵式的唐军？荒唐啊荒唐。总结一下，不提房琯任命的人合不合适，也不管他总体战略如何，单说这一战，最大的错误在于战术不对，雪上加霜的是错用了牛——战国时田单败燕，用火牛阵用的就是这股乱劲，而房琯这次用牛车阵，却乱了自己。这是房琯东征的首战，首战很影响士气，这一仗失败，不但带来兵力上的损失，在士气上也是个打击。可以想象一下，如果你是当时唐军中的某个士兵，一想到有个荒唐的主帅在带队，是不是很泄气呢？十月二十三日，房琯亲自率领南军与叛军作战，又被杀得大败，杨希文和刘贵哲都投降了叛军，这是南、中二军的主将，他们投降了，仗也就别提再打了。至此，房琯东征宣告失败。
战败之后，房琯等人“奔赴行在，肉袒请罪”。肃宗得知大败的消息，十分愤怒。想来肃宗也没想到房琯会用这么个战术，而肃宗可不像房琯那么理想主义，以为牛车真能取胜，从肃宗让王思礼辅助房琯来看，他比房琯更有战争的头脑，只可惜王思礼没派上用场。肃宗听说败的情形，自然十分郁怒，幸好有了李泌的营救，肃宗才赦免了房琯。不知李泌是怎么说的，居然说动肃宗像原来那样对待房琯，所以房琯要想取代李泌在肃宗心目中的位置实在太难了。
《旧唐书》上有一段，讨论了房琯为什么失败：“管好宾客，喜谈论，用兵素非所长，而天子采其虚声，冀成实效。管既自无庙胜，又以虚名择将吏，以至于败。管之出师，戎务一委于李揖、刘秩，秩等亦儒家子，未尝习军旅之事。管临戎谓人曰：‘逆党曳落河虽多，岂能当我刘秩等？’及与贼对垒，管欲持重以伺之，为中使邢延恩等督战，苍黄失据，遂及于败。”有些事情我们前面已经说过，再补充几句。《旧唐书》的看法是，房琯喜欢高谈阔论，未免轻浮，用兵并非是他的长处，所以皇帝听他虚夸的厉害便任用他，自然难有什么作用；房琯本人又不会择将吏，选的都是徒有虚名的人，出师之后把事情都交给不习军事的儒生，再加上交战之际本是要持重以待，却被宦官邢延恩等人催促交战，仓惶之中失去自己的根基，所以才会惨败。《旧唐书》是在后面交待了这里面“中人邢延恩”的作用，通鉴中却未涉及。房琯本打算持重，牛车阵也确实需要持重，如果真的坚持下去，面对敌军时，也许不会一下子就大乱起来，但叛军终究还是会赢，就算这一战不败，早晚他的牛车阵也是个事。邢延恩的催战，无疑使失败提前来到。虽说宦官监军又让人郁闷了一把，不过房琯的东征也是早一些结束的好，如果一直这么打下去，伤亡惨重都是无法避免的，但唐朝的粮草——灵武也好，顺化也好，彭原也好，粮食还是节省些好。
房琯回来之后，常常称病不朝，对政事也变得懒于过问，大概是受到了打击。另外，他不上朝，每天与刘秩、李揖等人高谈佛老，说些释氏因果、老子虚无的东西，有时还听听门客董庭兰的琴声，或招集琴客来大排筵宴。未败之前房琯也有空谈的爱好，好像惨败之后，连“以天下为己任”的劲头也没有了。颜真卿当时弹劾何忌不孝，而何忌恰好是房琯空谈一派，所以房琯不想太让他没面子，就以他酒醉入朝为借口，贬为西平司马。更糟糕的是，董庭兰因为朝官们往往通过他谒见房琯，所以开始弄权谋利，大收贿赂。有司又弹劾董庭兰受贿，房琯十分不理智的在肃宗气头上入朝向他说明情况，被肃宗“叱出之，因归私第，不敢预人事”。这时谏议大夫张镐上疏，说房琯是朝中大臣，他的门客受赃，与他无关，不应该因这件事连累他。至德二年五月，将房琯贬为太子少师，以张镐代替他为宰相。