肃宗立刻让宦官奉第二道表入蜀，这才放心的与李泌一起饮酒，然后同榻而眠。当时李辅国就侍候左右，他请求把宫禁中的符契与钥匙都交付给李泌，李泌当然不会接受，又请求这些由李辅国来掌管。三人怎么提到这个了呢？可能是肃宗知道了李辅国和李泌之间有矛盾，想替他们开解一下，也有可能是李辅国看到李泌这么受肃宗信任，所以主动让出一部分权力向李泌示好。当然他也有把握李泌不肯接受，试想，李泌一个外臣，要宫殿的钥匙做甚？
李泌当晚提出归隐，肃宗说：“我和你这么多年共患难，现在到了同富贵的时候，你为何想要这么快就离开我呢？”李泌说：“我有五条理由不能留下来，希望陛下能够答应让我离去，使我免于一死。”李泌提到“免死”，肃宗很是诧异，问道：“这是什么意思？”李泌回答说：“我和陛下相遇的太早，陛下任用我太重，宠信我太深，我的功劳太高，事迹又太奇异，这五条就是我不能留下来的原因。”肃宗一听，原来是这么五件事啊，他觉得这五条无足轻重，哪个都没涉及重点，也没当回事，就说：“还是先睡觉吧，以后再说这件事。”李泌说：“陛下现在与我同榻而眠，我请求的事情都不答应，以后在大殿之上又怎会答应我的请求呢？陛下不答应让我离去，这就是要杀我啊。”李泌这些话令肃宗更为惊诧，因为大臣总难免会为自己的将来担心，但李亨要命也没想到李泌居然把话说到这个份上，所以有些不高兴的说：“我没想到你居然这么疑心我，我怎么可能杀你呢？你真是拿我当越王勾践了！”勾践是个杀功臣的典型，所以君王历来都忌讳说自己和他一样。李泌回答说：“正因为陛下不杀我，我才请求归隐；如果要杀我，我又怎么敢再提这件事呢？再说要杀我的不是陛下，而是我所说的那五条理由。陛下一直对我很好，可我有时遇事尚不敢尽言，何况天下安定了，我还敢说的出口吗？”
肃宗闻言，想了一会说：“莫非你是因为我没听你的北伐之策？”李泌回答说：“不是这件事，我所不敢直言的是关于建宁王的事。”肃宗说：“建宁是我的爱子，英勇又果断，艰难之际立了大功。这些我怎么能不知道呢？可惜他受到小人的教唆，想要谋害他的哥哥广平，图谋为太子，我为了社稷大计，不得已才杀了他，你难道不知道这些吗？”李泌说：“建宁果若有谋害太子之心，广平应该怨恨他才是。但广平每当与我言及此事，总是哭着说建宁是冤枉的。我现在决定要辞别陛下，所以才敢说这件事。”肃宗说：“建宁曾夜扪广平，这是想要害死他。”李泌说：“这是他人进的谗言，建宁王孝友聪明，怎么会做这样的事呢？再说陛下曾想任用建宁为元帅，我则请求任用广平。建宁如果有野心，应当十分恨我才是，但他却认为我是出于忠心，从此对我更加亲密友善，陛下通过这件事就能够看出建宁的心意究竟是如何了。”肃宗听完后，也觉得有些难过，流着泪说：“你说的话都很对。但既往不咎（你就别追我的错了），我也不想再听关于这件事的话了。” 李泌纠正肃宗说：“我之所以谈起这件事，并不是要说陛下以前的错误，而是想要陛下谨慎处理将来的事情。”然后李泌提到了武则天的四个儿子，说到了李贤的《黄台瓜辞》：“种瓜黄台下，瓜熟子离离。一摘使瓜好，再摘使瓜稀，三摘犹为可，四摘抱蔓归。”然后说“现在陛下已经摘一次了，千万不要再摘一次！”意思是说，肃宗已经杀了一子，不可再杀一子。已杀的即是建宁，而有危险的则是广平——广平是长子，是既定太子，如今又立有大功，但他却不是张良娣所生，而张良娣自己也有儿子，所以必然会有矛盾。肃宗听后很惊讶，因为他并没有听过这件事，就让李泌将这首诗写下来，李泌说：“希望陛下能把它记在心中，也就没有必要要形之于外了。”建宁之事成为后来的一个典型案例，此时李泌以此来提醒肃宗，要知道保护广平王李俶，后来，李泌年老时，面对想要立侄子的德宗，也举出当年的事例，希望德宗不要废太子。毕竟后生晚辈的德宗与李泌不像他的父亲、爷爷那样有交情，虽说他也曾学文于李泌，但交情还是差了点，所以当李泌触怒了他的时候，德宗也不客气起来，直问道：“卿不爱家族乎？”这话里已是杀气腾腾了。但在李泌的开导之下，德宗虽然没有完全想通，但也没有下废立太子的决心。隔了一天后，德宗终于想通了，这才知道李泌劝自己是正确的，哭着对他说：“幸好有你劝我，不然我后悔也来不及了。”不过这是后话，而且是安史之乱后的话，所以不多说了。这一次李泌没有走，总不能太不给皇帝面子，反正早晚的事，又何必在乎这一时呢。
十月初三，啖庭瑶到达了蜀郡（速度真是快啊），向玄宗报告了情况。但当使者从成都回来时，带回玄宗的诰命很让肃宗头疼了一阵子。上面说：“当与我剑南一道自奉，不复来矣。”这话很明显意思就是：你给我一个能容身的地方，我绝不会回来和你争。这是置肃宗于何地呢？肃宗觉得好愁啊，不知道怎么办才好。好在只是一阵子，后来派去的使者也回来了，报告肃宗说：“上皇初得上请归东宫表，彷徨不能食，欲不归；及群臣表至，乃大喜，命食作乐，下诰定行日。”这就要归功于李泌了。李泌猜透了玄宗的心思，料到这样他必会回来。肃宗也很高兴，对李泌说：“这都是你的功劳啊。”