就在瓦岗军内部互相残杀的同时，李渊已经顺利入关，李密失去了进入关中的时机，而隋军的支援部队也在增加，仗更难打了。
大业十三年（617）的十一月，李密走上了巅峰，也开始滑向失败。
次年三月，也就是唐朝武德元年，李密打败了宇文化及，但手下的骑兵也损失很大。加上李密虽然有粮，却没有府库，有功将士得不到赏赐，渐生懈怠之心。另一方面，他信用和依赖归降的隋军将领，与原先瓦岗诸将的矛盾更加尖锐起来。洛阳的王世充刺探到了这些情况，乘机发动进攻。李密正被胜利冲昏了头脑，不听身边的人劝阻，就轻易决定出战，遂大败。
其实瓦岗军并没有整个失败，徐世还镇守在黎阳（今河南浚县东北）。但李密知道自己杀了翟让，还伤了徐世，这些将领对自己肯定不会忠心，最后只好选择投降唐朝了。
可惜的是李密做唐之窦融的愿望也没有实现。李密降唐，唐任他为光禄卿、上柱国，赐爵邢国公。他总觉得心有不甘，又加上待遇不好，于是不免生出怨望之情，想东山再起。所以在李渊派他去安抚山东的路上，他就与王伯当谋划叛唐，想乘机夺得一个城池，再联络旧部，重整旗鼓。但是事变没有成功，李密和王伯当等人都做了刀下鬼。
李密英雄半生，显赫一时，奈何心事终成空。不仅“李氏将兴”的预言没有应验在他的身上，反而不得善终，身首异处，确实令人感叹。历史有时候总显得那么无情，可殊不知，历史其实青睐的是那些能把握时代大势的人。李密的结局说明他还是没有找到那把正确的钥匙。