张皇后心里想必十分恼火，可又没有办法——罢了，尊号不上也无所谓，但权力总得分我点吧。张皇后早与李辅国勾结在一起，只不过那时只是在肃宗面前说几句谗言，还没发展到很严重的地步，此时，张皇后与李辅国勾结就比较深了，二人横行朝中，干预政事，无穷尽的有所求，比最初可是严重了许多，令肃宗也心生不满起来，可是他也无可奈何。
乾元二年（公元759年）初，肃宗任命李岘为吏部尚书，李揆为中书侍郎，和第五琦同时加同平章事。这三人，前面都曾写过，也确实是有见识的人，肃宗任命他们也算是有眼光。不过，肃宗往往看中哪一个人，紧接着便重用那人，随后因为若干事情，又觉得那个人不怎么样，于是又疏远他，所以，肃宗盯上谁，那就意味着谁要倒霉了，比如房琯就是一个例子。这三人中，肃宗特别赏识李岘，于是李岘也“以天下为己任”——写杨国忠时看到这句话觉得好笑，写房琯时看到这句话觉得眼熟，现在写到李岘，又看到这句话，我终于明白了，这大约是古人的一句口头语。
肃宗对李岘、李揆等人还是很信任的。当时，京城里不知什么时候开始流行偷盗和抢劫，李辅国便请求挑选五百羽林军的骑兵以备巡逻搜捕之用。李揆上疏说：“汉朝设南北二军互相制约，所以周勃得以率南军进入北军，从而安定刘氏王朝。我们大唐王朝设置南牙与北牙，文臣与武将相区别，以使他们互相监督。现在用羽林军代替金吾卫巡夜，如果发生了突发事件，怎么控制局势呢？”于是此事作罢。何谓羽林军？何谓金吾卫？李揆这话是什么意思？羽林军即左右威卫，“职同左右卫，掌宫廷宿卫，凡五府三卫及折冲府骁骑番上者，受其名簿而配以职”；左右金吾卫，“掌宫中、京城巡警、烽候、道路、水草之宜，凡翊府之翊卫及外府饮飞番上者皆属之”。职责上各有不同，李揆的意思，如果羽林军去城中巡逻，宫中守卫力量就下降，万一出事就不好办了。想必当时盗贼问题很严重，以至于李辅国想让宫中的守卫也去巡逻。其实李辅国此议还是出于好意，他对肃宗大约还是不敢怎么样的。
正是李岘的上台，使李辅国暂时有所收敛。李岘当了宰相，对肃宗说皇帝的诏敕理应由中书省颁布，而不该由李辅国来掌握。李岘举了很多李辅国专权乱政的例子。肃宗也正头疼，听了李岘的话很高兴，称赞他为人正直。因此李辅国便只好收敛一下了，罢掉了那些察事。肃宗规定：今后敕命由中书省颁布，否则不能实行；朝野内外的事务，各付有司；案件则归御史台和京兆府处理。但李岘也因此得罪了李辅国。
不久，出了一件事，使得李岘很快就下台了。凤翔一个管马坊的押官由于抢劫被天兴县尉谢夷甫抓住杀掉。那人的妻子为他的丈夫去诉冤，飞龙厩养马出身的李辅国一听有人敢欺负咱们养马的，那还得了，就让孙蓥去审问，审出来结果不是冤案。李辅国又让崔伯阳、李晔、权献审问，结果与孙蓥相同。押官的妻子还不服，李辅国又让毛若虚去审。这回，毛若虚依照李辅国的意思，归罪于谢夷甫。崔伯阳很恼怒，就质问毛若虚，想在肃宗面前弹劾他。不想毛若虚先跑到肃宗那里，肃宗把他藏在帘后。崔伯阳来到后，就说毛若虚依附宦官，审判不公。肃宗听后十分愤怒，就把崔伯阳喝斥出去，后来把他贬为高要县尉，其它几人，如权献、李晔、严向也都被贬，孙蓥则被削除名籍，流放到播州。于是李岘上奏，说崔伯阳无罪，处理得太重了。肃宗又认为李岘和崔伯阳等人结党，五月，贬李岘为蜀州刺史。后来右散骑常侍韩择木入朝晋见肃宗的时候，肃宗对他说：“李岘想要专权，已经把他贬为蜀州刺史了，可我还觉得自己用法太宽。”言外之意，下次再有这种事，就严厉一点。其实如果真是专权为害，就像李林甫那样，贬官或是削籍都不过分，但这件事根本称不上是什么，肃宗缘何发这么大的火呢？而且他因何生气实是很令人不解，觉得肃宗这时脑子也是不太正常。韩择木回答：“李岘直言不讳，这并不是专权。陛下若能做到宽大，这也不会有什么妨碍，只能增加陛下的圣德。”但不久，阿附李辅国的毛若虚被任命为御史中丞，威震朝廷。
而李揆，当然后来也下台了，原因是与吕諲不和，两人谁也看不起谁。由于吕諲在荆州时，颇干出了一些政绩，李揆害怕他会再次入朝当宰相，就上奏说于湖南设置军镇很不便利，暗中又派人到荆南、湖南去收集吕諲的过失。吕諲上书控告李揆，于是上元二年（公元761年）二月，肃宗将李揆贬为袁州长史，任命河中节度使萧华为中书侍郎、同平章事。
就这样，肃宗的内阁成员又一次大换血——但人们也习惯了，因为这是经常性的，见怪不怪。然而李辅国把持朝政的大局却是无法改变的事情。
上元二年（公元761年）八月初一，李辅国又被肃宗加封为兵部尚书。于是李辅国大摇大摆的赴尚书省上任，宰相和大臣们都去送他，御厨摆上食品，太常卿也设乐队奏乐。如此上任，又是大排筵宴，又是乐队奏乐，真是无限风光。李辅国更加得意，所以前面的收敛一扫而光，越发的骄横放纵起来，直接向肃宗请求要当宰相。肃宗对他说：“以你的功劳，有什么官不可以当的呢？只是朝廷中有声望的大臣会不同意，怎么办呢？”李辅国倒是很厚道，一听这话就满处找人帮自己说好话，他暗示仆射裴冕等人，由他们来推荐自己。肃宗很是苦恼，一旦这些老大人们真的和他这么说，他也不好拒绝。肃宗私下里忧心忡忡的和萧华说：“李辅国请求担任宰相，如果公卿大臣们上表推荐，那就不得不让他当了。”于是萧华出宫后就去问裴冕。裴冕说：“哪有这回事，我臂可断，但宰相的职位决不让他得到。”萧华便将裴冕的话入宫告知肃宗，肃宗一听十分高兴：哈哈，这个办法好，你可以暗中打通关节，我就不可以暗中关闭关节么？自然而然，李辅国对裴冕、萧华两人怀恨在心。这件事的后果，就是萧华被罢免，由李辅国引进了一名后来代宗时期的比较有名的宰相，即曾帮助代宗铲除鱼朝恩而最后自己也被代宗铲除的元载。这位是唐代的一名大贪官，可惜后人多知道和珅，却少有人听说元载。要知道，元载不仅贪的是多、大，贪的却也很奇，抄家的时候，居然被人抄出来钟乳五百两和胡椒八百石。钟乳是名贵药材，贪这么多也不奇怪，可是要这么多的胡椒，怎么个消受法？大约是元载自己也想不出来，所以直到最后也没用完，被皇帝全都收进了府库。