不过，王后及其家族也是人，也觊觎君王的权力。王后及其家族在辅政的时候，免不了会让国家的姓氏或快或慢或自然或不自然地更换掉。
汉成帝的家人光禄大夫刘向，在给汉成帝的一封上书密奏中，这样描述了外戚王太后家族的显赫声威和对刘家天下的侵蚀：
如今王氏一姓，乘坐红色车轮彩色车毂华车的，就有二十三人，佩青色、紫色绶带，帽上有貂尾跟绣蝉的，充满朝廷，像鱼鳞一样排列左右。王氏依靠太后尊位，凭借与皇上的甥舅之亲，树立自己的重大权威。受他们夸奖的，得以拜官高升；被他们憎恨的，受到诛杀伤害。帮闲为他们宣传，掌权者为他们说话。他们排斥宗室，使刘氏皇族孤立、削弱，对皇族中有智慧才干的人，尤其诋毁，使他们得不到提升，不让他们在朝廷和宫中任职，生怕大权被分。他们对皇上只提历史上皇室血缘关系引发的国家混乱，却避讳历史上外戚擅权的危害。王氏兄弟占据重要位置，家庭盘根错节从上古到秦汉，外戚越份尊贵，没有像王氏这样严重的。
——《资治通鉴》第三十卷
如果“家长”由于种种原因撇下了“家天下”的政治理念，拱手让外戚为所欲为，家族成员或“忠臣贤良”就会冒犯“天威”，进行亲情告诫。
刘向当时这么告诫汉成帝：
根据事物的规律，两大势力不相共存。王氏与刘氏也不能并立。如果王氏家族有泰山那样的安稳，则皇上就有累卵那样的危险。陛下身为刘姓子孙，有守持宗庙的责任。让国家权力转移到外戚手中，反使刘姓皇族降为卑贱的皂隶，陛下纵然不为自身打算，又怎样对待宗庙！……明智的人，造福于幸福还未形成之时，消灾于灾祸还未发生之前。陛下应公开下诏，作出有德于祖宗天下的决定，引进任用宗室为左右辅臣……罢黜疏远外戚……
——同上
但，此时的汉成帝已经身不由己。他读罢此道密奏，只能为刘向的心意叹息悲伤。
三十二年之后，外戚安汉公王莽废汉建国。此即历史上著名的“王莽篡汉”。
