载垣得以“两受顾命”，权势达到顶点。咸丰帝去世之后，以载垣为首的顾命大臣们拥立皇长子载淳登基，即同治帝（当时年号为祺祥）。不过，在咸丰帝驾崩后，顾命大臣们很快与咸丰帝皇后钮钴禄氏（慈安太后）、同治帝生母叶赫那拉氏（慈禧太后）为控制皇权产生了尖锐矛盾，不可调和。顾命大臣们和两宫太后争吵最激烈时候，在场的小皇帝载淳都被吓哭、甚至尿了裤子。
两宫太后因此深恨载垣、端华、肃顺等人，必欲除之后快。于是两宫太后秘密联络了咸丰帝六弟、恭亲王奕䜣，暗中布置，在咸丰十一年（1861年）九月于咸丰帝灵柩自避暑山庄返京时，设计将肃顺和其他顾命大臣分开，趁机发动政变，把载垣、端华、肃顺等顾命八大臣或捕获、或贬黜，夺回了朝政处置大权。因当年是农历辛酉年，所以两宫太后和恭亲王奕䜣叔嫂所发动的这场政变也叫“辛酉政变”；又因皇帝载淳初定年号为“祺祥”，史书上也称“祺祥政变”。
两宫太后清除顾命八大臣后，联合恭亲王掌握朝政，改皇帝年号为“同治”，意在“协同治国”之意。之后，两宫太后以小皇帝的名义下旨，把恨之入骨的肃顺公开斩首，而载垣和端华，则“开恩赐死”，于宗人府空房内赐白绫自尽。载垣被赐死时，年四十六岁。他的倒台，对怡亲王府来说是一次严重的打击，几乎导致世袭王爵被废除。同治元年二月（1862年），载垣被赐死半年后，垂帘听政的两宫太后为了当年功勋卓著的怡贤亲王胤祥所遗下的爵位不至于废封，特旨恢复原怡亲王一系的封爵，但是没有返还亲王爵位，而是降为不入八分辅国公。
另外，因载垣之罪行严重，所以他所属的怡亲王大宗（怡亲王弘晓后裔）被取消了承袭资格，另以怡亲王小宗——胤祥第三子弘暾玄孙载泰为怡亲王宗子，受封不入八分辅国公，主持怡贤亲王胤祥及诸代怡亲王的祭祀典仪（载垣不包括在内）。而大宗怡僖亲王弘晓的直系后裔，在这之后再也没有承袭宗子资格，只保留了两个奉恩将军爵位（清宗室爵位中最低一级），就此沉沦。
同治三年（1864年），朝廷因收复江宁，平息了太平天国起义，所以加恩于诸宗室及朝廷重臣，封赐甚厚。在“辛酉政变”中被废黜世袭爵位的怡亲王也因此得以复封。两宫太后以同治帝的名义，在这一年七月改封胤祥五世孙、宁郡王弘皎玄孙载敦为第七代怡亲王，并恢复怡亲王世袭罔替资格。同时，将原怡亲王府宗子载泰改袭因载敦继承怡亲王爵位而遗留下来的宁郡王系封爵——奉恩镇国公（宁郡王在乾隆时期被降等承袭，不是世袭罔替郡王，所以三降后以奉恩镇国公传承）。
载敦承袭怡亲王爵位后，朝廷追封他的曾祖永福（弘皎次子）、祖父绵誉（永福第四子）、父亲奕格（绵誉第三子）为怡亲王。光绪十六年（1890年），载敦去世，谥号“端”，即怡端亲王。光绪十七年（1891年）三月，载敦长子溥静袭爵，成为第八代怡亲王。光绪二十六年（1900年），八国联军侵华，京师义和团运动风起云涌。
溥静参与了庄亲王载勋、端郡王载漪、辅国公载澜等王公贵族支持义和团的行动，主张和联军开战。侵略军击败清军，侵入京师后，报复性洗劫了怡亲王府，并抓住了来不及逃走的溥静。之后溥静诡异地死在府中，有传闻说是被侵略军鞭答致死的。溥静死后，西逃的慈禧太后为了向八国联军求和，严办了一些主战大臣，将庄亲王载勋赐死，端郡王载漪、辅国公载澜革爵流放。
而已经死去的怡亲王溥静，也被以“纵庇拳匪启衅”的罪名，革除爵位，以示严惩。这也是怡亲王府第二次被革除封爵。光绪二十八年（1902年）七月，京师局势逐渐平息，已经返京的慈禧太后以光绪帝的名义下诏，恢复怡亲王府空悬三年之久的封爵。不过，因为溥静“参与启衅”，所以他的儿子们被剥夺了承袭资格，怡亲王爵位改由载敦次子、溥静之弟溥耀的独子毓麒承袭。
毓麒是第九代、也是最后一代怡亲王。承袭爵爵位的时候，毓麒刚满两岁。十年后，宣统三年（1911年），在武昌城的隆隆炮声中，清王朝终于走到了尽头。一九一二年二月，宣统帝退位，清朝灭亡。时年十二岁的毓麒也失去了世袭亲王身份，成为了普通平民。此后，家道中落的毓麒为了维持生活，先后将历代怡亲王陵墓上的树木伐倒变卖，又将王府也抵押给了别人，以此苦苦支撑。
