七月十九日，李辅国假称是肃宗的意思（就是真是肃宗的意思，史书上也得说不是），要迎接玄宗到太极宫去游玩。等玄宗到了睿武门，李辅国率领着五百殿前射生手骑兵，大家手持着出鞘的映着太阳闪着白晃晃亮光的刀，拦住玄宗的去路，上奏说：“皇帝认为兴庆宫宫墙低小，宫里又狭窄，不适合您住，所以让我们来迎接您迁居到皇宫内。”先不说这话如何，单看这阵势也够吓人的，做了五十年太平天子的玄宗哪里受过这种待遇？就是马驿之前也没人敢用刀来威胁他。而今，自己失势，听这话的意思是要把自己强行迁到大内中，也就是说，将来自己将要过着监禁的生活，说不定比这还要更糟，就算不想以后，面前这些人，居然拿着刀来威胁自己，明显不怀好意。所以玄宗听后十分惊恐，差一点坠下马来。玄宗本人已经无力抵抗了，好在他身边还有个高力士。见此情景，高力士明白必须得制止李辅国才行，否则后果不堪设想。于是高力士大声喝道：“李辅国怎得如此无礼！”然后责令他下马。高力士还是有当年的威风的，而且李辅国也明显知道自己没有理，所以不得已只好下马。他一下马，玄宗这边就有救了，如果他一直强硬下去，实际上高力士也是拿他没辙。一见李辅国下马，好的，事情有转机，然后高力士宣布太上皇的诰命（其实玄宗哪里还下得了什么诰命，也是高力士假称的）说：“诸将不得无礼！”见李辅国都服软了，所以这些将士也各自收起了刀枪，拜了两拜，高呼万岁。高力士又斥责李辅国，让他与自己一起为玄宗拉着缰绳，慢慢行走。但无论是玄宗还是高力士都清楚，虽然大面上可以令李辅国折服，但根本的还是改变不了，现在肃宗还可以不明显支持李辅国，一旦己方反抗行动过大，就会引起肃宗警觉，到时是连这点尊严也保不住了。于是，几人将玄宗护送到了太极宫，居住在甘露殿。玄宗心怀余悸的对高力士说：“要是没有你，我这次就完了。”直到玄宗迁到了太极宫中，李辅国才领着将士们退下去，只留下了几十个老弱残兵在这里护卫，之后，陈玄礼、高力士以及过去的宫人都被请了出来，不准再留在玄宗身边。玄宗终于回过神来，为了表示自己不会反对肃宗，就说：“兴庆宫，吾之王地，吾数以让皇帝，皇帝不受。今日之徙，亦吾志也。”玄宗也是为这一次行动找理由，一来避免双方尴尬，否则一旦自己声称是被迫迁出的，那么自然不会有好果子吃，二来怕也是自嘲，给自己找个台阶，否则被人这么着就迁出去了，面子上也是不好看。当天，李辅国与禁军将领身着白衣去找肃宗请罪。肃宗心里自然不会太过反对，怎么说这件事受利的还是自己，而且就算反对，这些将军也不是好惹的，于是肃宗就慰劳他们说：“太上皇居住在兴庆宫或太极宫，也没什么区别，你们怕那些小人蛊惑人心，防微杜渐，这是为了安定国家，不必害怕。”但太上皇被迁移到太极宫，这算是朝中的一件大事了，惊动了朝廷里的官员，首先就是颜真卿，他率领百官上表问候太上皇的起居饮食，因此而遭到李辅国的忌恨，不久被贬为蓬州长史。
过了些天，也就是七月二十八日，朝廷下诏将高力士流放到巫州，王承恩流放到播州，魏悦流放到溱州，陈玄礼被勒令退休。然后又把如仙媛安置到归州，让玉真公主出宫居住在玉真观内。肃宗另外挑了一批宫人，安置在太极宫供打扫庭院之用。然后吩咐玄宗另两个女儿万安公主与咸宜公主（怀疑就是咸直公主，因为唐书公主传中没有咸宜公主，而玄宗的女儿中倒有个咸直公主，不过其他地方都称咸宜公主，想必是直和宜字互误）来照料玄宗的生活。之所以可以先后让太真、万安、咸宜三公主来照料玄宗，是因为这三人都没嫁出去，两个做了道士，另一个原先嫁了两人，大概是都死了，所以后来“主不下嫁”。在生活上肃宗还是比较照顾玄宗的，比如各国各地进献了什么美味佳肴，都首先送给玄宗品尝。可是这又有什么用呢？物质上的享受对玄宗而言已经没有意义了，重要的在于心情。自己的亲信都被发放了出去，连个说体己话的人都没有，玄宗很难高兴起来，所以心情越来越不好。而且，玄宗岁数大了，七十多快八十的人了，胃口、牙齿都不行了，所以这时开始不吃荤肉，据说还辟谷——辟谷是道家的一种养生方法，简单来说就是不吃饭。玄宗不吃饭，是出于修炼，还是想要绝食，无从考证，也许是吃不下去，所以被别人美其曰“辟谷”，事实上玄宗哪有功夫修炼啊。这样，一来二去，本来还很硬朗的身体也渐渐垮了，玄宗也开始得病。肃宗一开始还去问安，但不久他也病倒了，就派人代他去问安。肃宗对于前面发生的那些事情，最后可能也有所悔悟，不是他自己良心发现，就是有大臣旁敲侧击，因而肃宗后来十分怨恨李辅国，甚至想杀掉他，可是又怕他手里握的兵权，一直在犹豫之中。这也不新鲜，反正肃宗总是把责任推给别人，所以李辅国自然要对这些事情负责了。可是肃宗自己，就全都对吗？
那一年的端午，隐士李唐见到了肃宗，当时肃宗正抱着自己的小女儿，对李唐说：“我很惦念她，所以抱着她和你说话，请你不要见怪。”李唐回答说：“太上皇思念陛下，大概也和陛下惦念公主是一样的。”就是说，肃宗不去问候玄宗，是连隐士都清楚的。肃宗一听，眼泪又来了，是该去看看，可是这时又怕张皇后，还是不敢到去探视。——这又和张皇后有什么关系？当初李辅国和张皇后共谋把太上皇迁出兴庆宫，所以她也有份。不过，肃宗毕竟还是去了一次，就是上元二年（公元761年）冬至的第二天。然而，两人的未来也正如那萧条的冬天，不知那年的春节有没有再见面，否则这的确是父子二人的最后一次见面了。