奕訢突遭罢黜，内心愤懑不平。失落中的他不禁吟出：
权力场上的几次大起大落，徒然令他心灰意冷，身心疲惫。高爵厚禄于他更是身外之物。回首与慈禧太后共事的几十年，他一定有许多的感慨郁结于胸，无法宣泄，只好用“猛拍栏杆”来表达。下野之后，他希望过一种闲适和与世无争的生活，只期望保持“洁白如冰雪，清芬不染尘”的情操。于是，他把恭王府标志王府地位的青红色堂帘子全部撤下，换成蓝色，以示返璞归真的心态。为了远避政治的旋涡，他还以养病为名躲到北京西山的戒台寺，隐居10年。
光绪二十年（1894），中日甲午战争爆发，在严峻的局势下，奕訢被重新起用。不过，此时的他已是暮气沉沉，在政治上难有什么作为。这或者是因为身老体衰的缘故，或者是因为10年古刹佛灯下的修炼。总之，他除了眼睁睁看着战争失败，耻辱的《马关条约》签订外，别无他法。奕訢的最后几年，是在朗润园（位于北京西郊，今天北京大学校园的西北部）度过的。二十四年（1898）奕訢病殁，享年67岁。他因生前为清王朝作出了巨大贡献而受到颂扬，身后追谥号“忠”，配享太庙，入祀贤良祠。
奕訢主持内政外交20多年，是当时清政府中极少数对外部世界了解较深、头脑也较清醒的政治家之一。他深知清朝积弱积贫，无力与西方列强抗衡。因为有足够的前车之鉴，他清楚战争失败的严重后果。所以，奕訢处理外交事务一向以和解为基础，在列强的侵迫下甚至一味妥协，希图维持苟安的局面。许多自诩“清流”的廷臣对奕訢不满，抨击他软弱无能。不过，当奕訢于光绪十年（1884）被夺职后，清王朝就陷入了更加深重的危机中——中法战争（1884）、中日战争（1894）、义和团运动、八国联军侵入北京（1900）……内忧外患，纷至沓来。假使在这期间，他仍主持枢要，对外对内应会采取一些不同对策，清王朝的局面未必会如此危殆。他至少会阻止慈禧太后挪用海军军费修建颐和园，以及她一意孤行的其他一些蠢事。
奕訢生前曾感慨地说过：“我大清宗社，乃亡于方家园。”方家园胡同在北京朝阳门内，是慈禧太后的母家。旧时，凤凰是皇后、皇太后的象征，因为这里是慈禧和隆裕二朝皇太后的诞生地，所以又称“凤凰巢”。慈禧太后近半个世纪的专权加快了清王朝的覆灭步伐，从这个角度讲，说清朝皇室的宗社亡于方家园也不无道理。
在时人笔记中关于奕訢的轶闻趣事很多。据记载，奕訢仪表堂堂，高鼻梁，身材修长。因为出身高贵，他在下属面前执傲有威，待之以礼。何刚德《春明梦录》记载了自己谒见恭亲王时的一段经历：“见面行礼不还，然却送茶坐炕，请升朝珠，甚为客气。叙谈颇久，人甚明亮。惟送客不出房门。”给人的印象是，他与部下总要保持一定距离，以维护王爷的尊贵身份。但与老友共事，却流露出很浓的人情味。何刚德的座师（考进士时的主考官）军机大臣宝鋆（ｙúｎ） ，是恭王的老部下。两人在军机处共事多年，一荣俱荣，一损俱损。光绪十年（1884），同遭罢斥。宝鋆死后，奉诏入祀京师贤良祠。他的神主进入贤良祠之日，奕訢在仪式举行前先往阅视祭器、祭品，以表示对宝鋆的深情和悼念。但是当正式典礼开始，他却消失了踪影。何刚德不明就里，询问身边的满人，回答说：“皇子于廷臣，不能行跪拜礼，其来也重交情，其去也重体制。”这就是奕訢，既要遵守体制，又不忘老友真情。
奕訢与同僚共事喜好诙谐。他与宝鋆相处久，常开玩笑。某日军机处将散值，宝鋆先往如厕，许久才返。奕訢嘲笑他：“往何处撇宝去？”“撇宝”是当时市井流传的玩笑话，与“如厕”同义。但“撇宝”的“宝”与宝鋆的“宝”同音，奕訢此话实际暗含噱（ｘｕé） 头在里面。宝鋆随口答称：“哪里，是出恭。”这“出恭”的“恭”与“恭亲王”的“恭”又同音。“宝”与“恭”二字，堪称针锋相对。又一日，恭亲王自太庙出，指着庙碑下面的屃，对宝鋆说：“你看这个宝贝。”宝鋆号佩蘅（ｈéｎɡ），而“贝”与“佩”发音相近。以“宝贝”暗指宝鋆。宝鋆的回答也很巧妙：“这也是龙生九子之一。”恭亲王兄弟（包括早殇的在内）一共九个。奕訢爱开玩笑，一方面反映了他性格开朗随和，另一方面也是为了避免同事间话语无多，涉及正题，不慎之中招惹是非或泄露机密。但作为一个活生生的人来说，他还是很有个性的。奕訢公务之余的最大爱好是观戏。晚清无论奕詝、载淳、载湉三皇帝，还是慈安、慈禧两太后，都是戏曲爱好者。慈禧太后更有“古今第一大戏迷”之誉。王府演戏均有一定场所。恭王府中的戏楼宏敞高大，富丽堂皇，至今保存完好。奕訢嗜酒，喜唱昆腔，即使身边近侍也都耳濡目染，精熟此道。每小饮微醺，便乘兴而唱，有时与侍者对唱取乐。