奕訢一生，在政治舞台上经历几番大起大落，“曾经沧海难为水”，难免有看破红尘之念，而他在家庭生活中更是让他经历了太多的身心交瘁。最大的不幸是儿女多早殇，侥幸活下来的则难堪造就。他有4个儿子，长子载澂、次子载滢、三子载濬、四子载潢。其中三、四两子俱幼殇。长子载澂袭贝勒，成年后胡作非为。这三个儿子，都死在他前面。另外一个儿子载滢，一度过继给奕訢的弟弟钟郡王奕詥，袭贝勒爵位。庚子事变（1900）时，因卷入义和团活动又被夺去一切职衔。
奕訢对子女很重感情。他的第二女仅活到3岁就夭折了。四个月后，他的第三子载濬出生。适逢清军克复太平天国都城天京（今南京市），当时奕訢位极人臣，红得发紫，同治帝下诏恩封其诸子，生仅一月的载濬竟获封辅国公。其获封年龄之幼，在有清一代是空前绝后的。奕訢信佛，曾臆想载濬是爱女转世，心里稍感慰藉，谁知两年后载濬又夭折了。奕訢悲痛至极，将第二女和载濬的棺椁一同迁往他选定的一处墓地（在今北京市昌平区东三十里翠华山前麻峪村。顺便提一句，中国当代史上最著名的秦城监狱就建在这片墓地上）安葬。他担心爱女葬处没有标记很快会被后人遗忘，特地撰写了墓志铭。铭文写得真切动人，慈父爱女之心充溢字里行间。大意是说：“你死后四个月，你的弟弟出生。过二年，他又死。难道是你的灵魂不灭，托生他而来？然无端而来，又无端而去，又何必为此一见再见，以重伤我心？难道该把这一切归结为命运的安排吗？”奕訢为子女的一再殇逝哀痛不已，深感生命的脆弱，人世的不可测，最终只有归结为不可捉摸的命运了。
奕訢死后，也葬在这块墓地上。这是他赋闲时亲自选定的陵址，到现在当地百姓还俗称为“六爷坟地”。园寝中曾专门辟有一处俗称阿哥圈的“小园”，里面除早年入葬的第二女和第三子载濬外，还陆续葬有奕訢的第三女、第四女和第四子载潢。父子生前相聚无多，死后终于可以永久相依了。
以恭亲王的显赫地位，当初兴建园寝时，规模一定非常可观。不过随着清朝的覆亡，民国的内忧外患，恭亲王的园寝几次被盗掘，很快破败。上世纪50年代，为修十三陵水库，又从墓地拆走大量石料。据说十三陵水库大坝上那几个醒目的大字，就是用园寝的汉白玉石砸碎后拼成的。园寝遭受了彻底的破坏。如今，麻峪村前的田地里，仍矗立着一座精美的石头牌坊，是恭亲王园寝内唯一的遗物。
奕訢后代有影响的人物有三个，一个是他的长女荣寿公主（1854—1911），一个是前面提到的长子载澂贝勒，再有一个是第二代恭亲王溥伟。
太后养女——荣寿公主大格格生于咸丰四年，同治初年，慈禧太后为了拉拢奕訢，把她接进宫中教养，接着就晋封她为荣寿固伦公主，时年11岁。
清朝制度，中宫皇后所生女封固伦公主，嫔妃所生女封和硕公主。固伦公主品级约相当亲王，和硕公主约相当郡王。至于格格，成为亲王以下所生女的统称，但也有等级之分，亲王女封郡主。非皇帝亲生女而晋封为公主，在清朝历史上凤毛麟角。奕訢的长女以郡主身份获得固伦公主品级，无论从哪个角度讲都是殊荣。不过，荣寿公主的经历也并非一帆风顺。同治四年（1865），奕訢与慈禧太后发生矛盾，被罢去议政王和军机大臣，荣寿公主也受到牵连，其固伦公主的品级被撤销，直到光绪七年（1881）才恢复。
荣寿公主13岁时，经慈禧太后指婚，下嫁给世袭一等公景寿的儿子志端。景寿早年曾娶道光帝的第六女寿恩固伦公主。父子两人均娶固伦公主，是最显赫的皇亲国戚。但志端没有多大福份，婚后半年病死。丈夫死后，荣寿公主作为太后养女又回到宫中陪伴太后。公主生前，西方照相技术已传入宫廷。从保存至今的相片看，中年的公主相貌平平，长脸盘，大鼻子，眉宇间充溢着威严与高贵。
荣寿公主出身亲贵，自幼目空一切。以后受到太后垂顾，更加颐指气使。她出门时，行人必须回避，车马必须停住给她让路。光绪初年，副都御史锡珍在路上遇到公主仪仗，躲避不及，车马冲犯了公主仪仗。公主大怒，将其连人带马押送协尉衙门。锡珍被迫跪在公主轿前叩头求饶，才被开释。不过，随着年龄增长，荣寿公主的霸气逐渐消退，无论是在太后面前还是在宫廷内外，她都广结善缘。据说，载湉（光绪帝）即位后，恭亲王一家对他很嫉妒。但荣寿公主却能顾全大局，与载湉相处得很好。又据说，后来慈禧太后要废掉载湉帝位，她在太后面前曾极力劝阻。荣寿公主府的遗址在北京东城大佛寺街，今北京中医医院内，早已踪迹全无。顽劣的“澂贝勒”奕訢的长子载澂（1858—1885），人称“澂贝勒”，受封为郡王衔贝勒，曾任内大臣和正红旗蒙古都统。载澂去世时，年仅28岁。因为是恭亲王长子，还被赐与“果敏”的谥号。有《世泽堂遗稿》3册传世，署名多罗果敏。集前有他同父异母弟载滢写的序文。序文说：“兄以皇孙之贵，秉光明俊伟之资，其习威仪，博材艺，精骑射……兄自束发受书，过目即能成诵。喜为诗，叉手而成。”载澂天资聪颖，自幼受到良好教育，喜读书吟诗，虽未及三十而陨，已有不少成熟的诗作。
载澂虽有文才，但在晚清诸王子中，却是以放荡顽劣驰名。这可能与两个幼弟早殇，他又是长子，自幼深得父母溺爱有关。奕訢家教的失败，由此可见一斑。《清朝野史大观·清宫述闻》中有这样一段记载：某年夏天，载澂率一帮恶少游什刹海。在岸边品茶时，见邻座有一妖艳妇人，孤身无偶，向他频丢媚眼。似曾相识，欲言又止。载澂性喜沾花惹草，派手下购莲蓬一束相赠，对她说：“这是大爷所赠，想与你相会，可以吗？”妇人答：“我家人杂，很不方便，请大爷选个地方。”载澂听了大喜，把她邀到一家酒楼密室相会。两人相好日久，妇人知其为载澂，载澂却不知妇人姓甚名谁。一日，载澂对她说：“我俩情投意合，却不能长相厮守。这可怎么办？你不如嫁给我。”答称：“家有婆婆有丈夫，那样势必不成。唯一的办法，是在半路上把我劫走。大爷劫一妇人，谁敢说半个不字！”载澂听说大喜。仍约女子会于什刹海茶座间，他率一群恶少一拥而上，把妇人劫走。一时舆论沸腾，以为载澂抢夺良家妇女，不知是两人预先设计。该女之夫为潦倒旗人，听说她被载贝勒劫去，不敢控告，怒气郁结，酿成疯癫，终日袒发露胸，在街上胡言乱语。后来得知，该妇也是宗室（皇族）女，论起辈分，还是载澂的姑姑呢。
载澂劣迹斑斑，做父亲的奕訢却拿他没有一点办法，最终落到父子情义断绝的地步。据说载澂有病，奕訢不忧反喜，竟日盼其死，虽延医吃药，不过掩人耳目。日久病重，家里人报告奕訢，说：“姑念父子一场，还是看他一眼。”奕訢走入载澂卧室，见他侧身而卧，气如游丝。浑身黑皱绸衣裤，上用白丝线绣满蜘蛛。奕訢不看则已，一看大怒，呵道：“就这一身匪衣，也该早死了！”说罢，掉头而去。载澂很快气绝身亡。
奕訢为什么对他这么大怨气？载澂人品顽劣，倒也罢了，关键还是他带坏了小皇帝载淳（同治皇帝）。载淳与载澂一为君一为臣，毕竟是亲叔伯兄弟，两人年龄接近（载澂年长2岁）；载澂自幼在宫内上书房伴读，与载淳气味相投。长大后，载澂经常出没于声色犬马之地，见多识广，常把外间的奇闻趣事绘声绘色地讲给小皇帝听。载淳亲政后，禁不住诱惑，仍常与载澂微服出宫，与他到娼楼酒馆宵游夜宴，寻花问柳。奕訢虽知情，又不敢张扬，使皇帝蒙羞。故借口载澂诱抢族姑一事，下令把他关入宗人府的高墙内，意在永久监禁。不想奕訢的福晋去世，载澂乘机向慈禧太后请求：“当尽人子之礼，奔丧披孝。”儿子给母亲尽孝，这要求一点也不过分。太后特旨放出，载澂原形毕露，依然故我。
时运不济的溥伟载澂死时无嗣，奉太后懿旨，把载滢的长子溥伟（1880—1937）过继给他。奕訢去世后，溥伟袭亲王爵位，成为第二代恭亲王。溥伟其人风度翩翩，擅长辞令。光绪帝载湉去世时（光绪三十四年，1908），溥伟29岁，在皇族近支溥字辈中，他年龄居长。溥伟自以为祖父功高，觊觎帝位之心尤其强烈。谁知慈禧太后最终却选定了醇亲王载沣之子、3岁的溥仪（宣统帝）继位。溥伟为此忿忿不已，日久生疾，只好求医问药。某宗室显贵私下嘲笑他：“这是患的心病啊，恐非石膏一斤、知母八两不可。”另一个补充道：“哪里，只须皇帝一个、江山一座足矣。”溥伟的不满，在皇族内尽人皆知，所以宣统一朝，他受到醇亲王一系的疑忌，未能跻身于权力中枢，只当着一个挂名的禁烟大臣。但他继承了恭亲王府的庞大家业，仍安享荣华。
1914年，他避居青岛德租界，收入锐减，仍旧挥霍无度。家中仆役成群，外出时前呼后拥。一切吃喝日用均从北京采买，鸡鸭鱼肉和咸菜只要老字号，如天福酱肉，天源咸菜，致美斋点心，不一而足。每月开支三五千元，仍不够花销。由于年年寅吃卯粮，最后只好把地租收入分为两份，留给北京家人一份，青岛一份，王府管事人等也分作两拨，依旧费用不赀。溥伟的下场很可悲。他先跑到青岛想投靠德国人。第一次世界大战结束，又迁大连，与日本人建立了联系。他在穷困潦倒中仍对“亡国”一事耿耿于怀。1931年，日本帝国主义发动九一八事变，用武力占领了辽宁、吉林等地。溥伟企图借助侵略者的刺刀，实现他复辟清朝当皇帝的梦想，为此特地跑到沈阳祭陵。不过当时日本正扶植溥仪就任伪满洲国的傀儡“执政”，认为溥伟祭陵行为“与日本有相矛盾的地方”，令他立即终止祭陵活动，并将他赶回大连。溥仪对他也不放心，始终没有给一个职位，连零钱也不肯接济。后来，溥伟贫困至极，死在长春的新华旅社里。