李辅国把持朝政，使肃宗大为头疼，却又真的无可奈何——早知如此，当初又何必给他这么大的权力呢？送肃宗一句话：自作自受。
二、长生殿上的孤影
已经许久没有提到一个人了，唐玄宗，这位早已退位的太上皇。
自从蜀中回到长安后，玄宗一直居住在兴庆宫中。由于他早先说过，收复两京后，他就再也不干预朝政，当时还是广平王、还叫李俶的现任太子，和郭子仪的那一次出征，一气把两京都收复了，因此玄宗当真不再参与政事，却也逍遥自在。
在咸阳的时候是肃宗亲自去迎接的，当时肃宗那一番表现堪称大孝子，而回来后，肃宗也经常从去兴庆宫问候自己七十多岁的父亲，而身子骨尚且硬朗的玄宗有时也会来大明宫看望自己的儿子。一直陪伴玄宗左右的，当然还是高力士，还有那位在马嵬坡前与哗变大大相干的陈玄礼。肃宗又命玉真公主、如仙媛（玄宗的妃子）、内侍王承恩、魏悦以及以前的梨园弟子这些人经伴玄宗左右，哄老人家开心。玄宗经常登临长庆楼，楼下路过的百姓看到后，那毕竟是当了近五十年皇帝的人，无论如何威望还是在的，于是百姓们总是下拜，高呼万岁，玄宗也很高兴，就在楼下设宴赏赐他们。曾有一次，从剑南道来京师奏事的官吏也经过这里，在楼下向玄宗拜舞，玄宗命令玉真公主与如仙媛设宴招待他们。虽则这样的生活看上去很无聊，但如果和后面相比，就好太多了，至少玄宗有很大的自由，至少他可以保持他太上皇的尊严。
但平衡被打破了，制造混乱的人又是李辅国。原因是，玄宗身边的人，不懂得要巴结新皇帝身边的宦官，只看到李辅国当初出身贫贱，虽然也知道他现在飞黄腾达，但是仍然瞧不起他。所谓要“敬小人”，不求添福，但求平安。高力士当年作为皇帝最宠信的宦官，大家都至少不得罪他，高力士还算不错，也没怎么害过人，但他自身应该明白这个道理。不错，李辅国当初是在你高力士的手下，而今已经不同了，不能再以人家上司的身份说话了。但明显玄宗身边的人都没有注意到这一点，所以李辅国怀恨在心，而且他又想在肃宗面前立功——想他一个宦官，还是个不能带兵打仗的宦官，所以立功就只能从稳定肃宗地位上下手了。玄宗虽说已然不干涉朝政，但是只要他的影响还在，对肃宗多少都有点不利——皇帝的威望是不容许别人瓜分的。何况玄宗又经常接受路过的人的叩拜，多少让新皇帝及其身边的人有些异样感觉吧。于是李辅国对肃宗说：“太上皇居住在兴庆宫中，每天都和外面的人交结，特别是陈玄礼与高力士两个人，谋划着不利于陛下的事情。现在禁军的将士都是在灵武拥立陛下的元勋，他们议论纷纷，心中不安，我虽然给他们解释，但他们不听，所以我不敢不向陛下报告这些事啊。”肃宗听后，痛哭流涕的说：“父皇仁慈，怎么会有那种事呢！”李辅国又说：“太上皇固然不会做那种事，但在他周围的小人就难说了。陛下是天子，应该为国家的前途着想，把祸乱消灭在摇篮里，又怎能够徇匹夫之孝而耽误了国家的大事呢！再说兴庆宫与坊市居民相混杂，宫墙低矮，不是太上皇所应该居住的地方。皇宫则戒备森严，如果把太上皇迎进来居住，与兴庆宫没有什么不同，而且还能够杜绝那些小人去蛊惑太上皇。这样，对于太上皇来说，可享太平晚年，对于陛下来说则更方便去请安问好，何乐而不为呢。”然而肃宗此时没有答应。其实李辅国的话蛊惑性已经很强了，肃宗固然能一时不听，但相信这些话在他心里已经扎根了。
之后，虽然肃宗没有口头上的同意，但李辅国依然按照自己的安排行事——不免让人怀疑，肃宗真的没同意吗？他没同意李辅国怎么有这么大胆子？也许肃宗的确没同意，但是对于李辅国这种说法则是默许的，而李辅国当时已经权倾朝野了，如果自作主张办一些事情，也不是不可能，太上皇的事情，可以说他事先和肃宗打了个招呼，再加上肃宗反对的态度又不是特别强烈，所以一些简单的事情，李辅国还是可以下手的。兴庆宫原先有三百匹马，李辅国假称圣旨把这些马都带走了，仅留下十来匹。这就是一个信号，玄宗多聪明的一个人，当然清楚这件事背后的意思了，所以他对高力士说：“我儿子听信李辅国的谗言，不会对我始终尽孝了。”
这件事肃宗后来应该听说了，但是他在此事后也并没有表示反对，所以这个态度就是默许了。见肃宗没有太大异议，李辅国得寸进尺，又让禁军的六军将士在肃宗面前号哭叩头，请求将玄宗迁居到太极宫内。这个举动就大了点，上一次不过是牵走了马，这一次把人迁走，非同小可。肃宗也很明白利害得失，如果真按李辅国的话做，虽然可以一步到位，但难免遗人话柄，但又确实是个问题，怎么办呢？最好的办法就是哭泣不应——哭泣表示我不同意，你们不能说是我让人这么做的，而且这表示我不忍这样对待老父；不应表示我同意，你们照办就是了，只是不要拉上我就行。可这么一哭，把李辅国哭糊涂了，不知道肃宗是什么意思，怕自己摸错了皇帝的心路，反倒有些害怕。
这时肃宗身体不好，开始得病。如果肃宗身体一直健康，倒也可以相安无事，但他这么一病，没力气管的太多，不过躺在床上胡思乱想还是可以的。因此他这个时候就可能担心太上皇是否真的会对自己不利，会对自己的儿子不利。于是，李辅国下面开始了真正的行动。说是背着肃宗自作主张干的也好，说是得到肃宗默许也好，甚至还可以说是肃宗秘密授意，反正，史书上在这里只是交待了肃宗得病，李辅国用事，而暗中究竟是怎样的关系，留下了很大的空白，随读史者猜想。既然李辅国知道害怕，那他就明白，太上皇不是他能轻易动的了的，你动别人都好办，但太上皇是谁？皇帝的爸爸，动不好回来使皇帝得到了不孝的非议，皇帝一旦发起怒来，拿你当替罪羊，那也不是好玩的。虽说皇帝病了，但还没到将死的地步，万一病好了，照样有力气惩办自己。所以李辅国虽然有心这么做，但若是完全通不过肃宗这一关，是不可能的。那是肃宗授意的了？也不一定，因为肃宗必定不想让人议论自己，他知道李辅国有意如此，所以纵容就是了，但“同意”的字眼不会轻易从他口出说出，也许就是一点头……总之，李辅国主谋，肃宗极不明显的批准，开始行动——