弘晓以此态度，躲过了有可能来自乾隆帝的打击和惩罚，远离朝堂，以藏书家和诗人自娱，总算得以将世袭罔替的怡亲王爵位安全保住，不至于像两个哥哥弘昌、弘皎一样，被褫夺爵位、或者被降等承袭，给怡贤亲王胤祥护住了家族荣耀。乾隆四十三年（1778年）四月，五十七岁的第二代怡亲王弘晓去世，朝廷赐谥号“僖”，称怡僖亲王。
弘晓次子永琅承袭了怡亲王爵位（弘晓长子永杭死于乾隆四十二年（1777年），没有来得及承袭爵位，而且也没有子嗣），成为第三代怡亲王。之后，怡亲王传承分别为：第三代：怡恭亲王永琅（乾隆四十三年（1778年）袭爵，嘉庆四年（1799年）薨。）怡亲王绵标（永琅次子，嘉庆四年（1799年）时先于永琅去世，子奕勋承袭爵位后追封）第四代：怡恪亲王奕勋（绵标长子，嘉庆四年（1799年）祖父永琅去世后袭爵，嘉庆二十三年（1818年）薨。
）第五代：怡亲王载坊（奕勋长子，嘉庆二十四年（1819年）四岁时袭爵，嘉庆二十五年（1820年）薨，年仅五岁，无嗣，无谥号。）嘉庆二十五年（1820年），五岁的怡亲王载坊去世后，怡亲王爵位经历了长达五年的空位期，直到道光五年（1825年），怡恪亲王奕勋的次子、怡亲王载坊的异母弟，时年十岁的载垣才被道光帝下诏承袭怡亲王爵位，得以延续这“世袭罔替”的“铁帽子王”。
载垣也是第六代、第七世怡亲王。自道光五年（1825年）承袭怡亲王后，载垣深受道光帝、咸丰帝两代帝王重用，先后出任过正蓝旗汉军都统、正红旗汉军都统、镶蓝旗蒙古都统、镶白旗汉军都统、镶红旗满洲都统、御前大臣、阅兵大臣、十五善射大臣、镶黄旗领侍卫内大臣。在皇室宗族内，载垣担任正蓝旗总族长、宗人府右宗正、宗人府宗令、玉牒馆总裁，管理镶蓝旗觉罗学，太庙袷祭和近支婚嫁也由其主持。
其他如銮舆卫、虎枪营、御枪营、善扑营和崇文门正监督等，也由其管理，可谓是道光和咸丰帝最为亲近依仗之宗室、重臣，其所受到的君主恩遇，几乎可以同他的四世祖胤祥所受到雍正帝的圣恩眷顾相比。载垣在道光三十年（1850）于道光帝临终前，受道光帝顾命，成为比自己还小十六岁的堂叔咸丰帝奕詝的辅政大臣。咸丰十年（1860年）七月，被任命为钦差大臣，与入侵的英法联军谈判。
但是谈判最终破裂，英法联军攻入京师。咸丰帝逃往承德避暑山庄，载垣随扈一前往。咸丰十一年（1861年）七月，咸丰帝在避暑山庄驾崩，临终前再授载垣顾命，让他和郑亲王端华、端华之弟户部尚书协办大学士肃顺等八人为“赞襄政务大臣”，辅佐皇长子载淳即位，并主持政务，明确了顾命八大臣以怡亲王载垣为首（实际上是以肃顺为首）。
