胤祥去世后，怡亲王一共袭了9次。其中比较有名的，一个是第五次袭的载垣，一个是第八次袭的溥静。与第一代怡亲王不同的是，这两位怡亲王一个被赐死，一个被八国联军挞辱而亡，均死于非命。
第六代怡亲王载垣（1816—1861），胤祥玄孙。他深受咸丰帝宠信，在朝中任要职。咸丰十年（1860），大学士桂良的代表团未能把英法联军阻拦在天津，载垣和兵部尚书穆荫以钦差大臣名义，前往通州，与英使额尔金的代表巴夏礼举行谈判。谈判破裂后，载垣下令逮捕巴夏礼及随员，其中二十余人被杀。随即遭到英法联军的报复。载垣随驾赴热河。在热河，载垣与郑亲王端华、肃顺等八大臣被咸丰帝委以赞襄政务王大臣（八顾命大臣）。不久，慈禧发动政变，载垣被赐死。爵位从第一等的亲王降至第十等的不入八分辅国公，并命不得以其子孙及亲兄弟子承袭。怡亲王爵中断三年后，清廷以收复江宁（南京），推恩还王爵，转由宁郡王弘皎的四世孙镇国公载敦承袭。载敦死，子溥静承袭。此为第八次袭。
光绪二十六年（1900）年义和团运动期间，端王载漪首倡“剿夷”之说，怡亲王溥静与庄亲王载勋、辅国公载澜、贝勒载濂、载滢、贝子溥伦群起响应（详见本书《端郡王载漪》）。八国联军入城后，溥静以亲王之尊，竟为德兵挞辱而死。死后被清廷以“纵庇拳匪启衅”罪名革爵，可谓身败名裂。
溥静的福晋，为大学士文煜之女。文煜曾任福州将军，是有名的肥缺，文煜与其兄文辉皆以财富称名。光绪九、十年间，南方票庄阜康倒闭，其兄弟被发现倒款数十万。后经户部查出，令其明白回奏：何以有此巨款？文煜张皇失措，召集族人各认数万两，编造说是代合族经营。文煜又向恭亲王奕訢请托，此事才含糊了结。溥静的福晋骄奢无度，因其排行十三，人皆称呼她“十三妹”。某年正月怡王府请春酒，文煜内眷皆往，在东四南大路上与一公爵（乾隆名臣大学士阿桂的后人）争路互殴。文宅仆人依仗怡府的权势，竟将公爵与车夫羁押，并加以侮辱。此事一出，坊巷哄传，被人向都察院检举。后经恭亲王奕訢出面调停，才算了结。奕訢的儿媳是文煜第九女，即长子载澂贝勒夫人。此外如瑞郡王奕誌的福晋、贝勒载濂夫人，都是文煜的女儿，与溥静福晋、贝勒载澂夫人均为姊妹。由此可见，宗室亲贵间的血缘姻缘关系盘根错节，非常密切。这也是怡亲王府迭遭大祸而能“死而不僵”的一个原因。
怡王府前后共有三座：胤祥初封时，怡亲王府在冰渣胡同。死后按照他的遗愿，王府舍为寺庙，即贤良寺。新府则移至朝阳门北小街（今中国科学院自然科学史研究所所在地）。该府屋宇宏深，庭院开阔。同治初，因第五次袭怡亲王载垣获罪削爵，此府转赐道光帝第九子孚郡王奕譓，所以又称“九爷府”。载垣革爵三年后溥静复爵，新王府又迁至东单牌楼北路东。