后来房琯再也没有像在顺化、彭原的时候受到肃宗看重了。最后死于广德元年，时年六十七岁，死后赠太尉。
杜甫传中则说至德二年春因房琯罢相，杜甫上书言房琯有才，不宜罢相之事而被贬，似乎时间上有出入，而且杜甫传说还写肃宗一怒之下，“贬管为刺史，出甫为华州司功参军”。杜甫确实是被贬了，而房琯则没有被贬出去，当年十一月便随肃宗回到了长安。究竟哪个对？房琯确实被贬出去过，不过是乾元元年六月，时间上又有矛盾。这里我们还是相信房琯本传为好，因为杜甫传中是连他的官名都写错了的，应该是左拾遗，写成右拾遗了。
房琯之败，似乎在玄宗的预料之中。玄宗在蜀中的时候，和给事中裴士淹讨论宰相。那时肃宗在凤翔，每任命一个宰相，就报告给玄宗。一听到肃宗任房琯为将，玄宗说：“此非破贼才也。若姚元崇在，贼不足灭。”他很清楚房琯言过其实，有点赵括的意思，所以知道他破不了叛军。可见玄宗看人比肃宗要准啊，一眼便看到了房琯的不足之处。之后又讨论到其它人，说到宋璟的时候，玄宗说：“彼卖直以取名耳。”只怕这个评价会有些让人吃惊。大唐三百宰相，最有名的贤相就那么几个，有唐初的房玄龄、杜如晦，还有玄宗时期的姚崇、宋璟。看来玄宗对姚崇还是相当满意的，而宋璟也是善终，并未与玄宗有什么芥蒂，怎么玄宗会这样评价他呢？虽然玄宗这话绝非称赞，也微微透露出一丝不满，却并不激愤。《新唐书》评价宋璟就是“宋璟刚正又过于崇，玄宗素所尊惮，常屈意听纳……善守文以持天下之正。”有时他的“正”也确有取名的嫌疑。宋璟的问题还是就此打住吧。玄宗又接连历评了十余人，都十分得当。评到李林甫时，玄宗不无愤怒的说：“是子妒贤疾能，举无比者。”裴士淹当时反问了一句：“陛下诚知之，何任之久邪？”你明知他是这样的人，为什么还任用他这么久？“帝默不应”，玄宗无言以对。那我们再问一声，为什么玄宗明知李林甫阻挡贤路，还要任用他呢？只怕玄宗当时已经倦了，所以有个挡着进谏的人，未尝不是件舒服的事，而且高力士也曾反对过玄宗“朝事付宰相，边事付边将”，玄宗并非不知道这些事情，所以只能是他自己的问题。
然而玄宗又想念起张九龄来，想起当初张九龄说安禄山会谋反的先见之明，不禁痛哭流涕，派宦官到韶州曲江祭祀张九龄，并重赏了他的家人。唉，早知如此，何必当初？