大儿子杨勇，因文帝怀疑其篡权，废其太子身分，幽禁东宫，被弟弟杨广假诏勒死；
二儿子杨广（炀帝）即位后在宫廷兵变中被绞死；
三儿子杨俊（秦王）因奢侈罪被文帝免职闲居，郁闷而亡；
四儿子杨秀（蜀王）因太子杨广谗言，被文帝幽禁，与炀帝一起死于兵变中；
女儿兰陵公主因其丈夫被炀帝流放，忧愤而死。
宋代司马光在评定这段历史时说：“隋文帝只知道嫡、庶之分容易出现纷争，皇室的地位微弱容易动摇，却不懂得诸王的势力与皇帝势均力敌就会危逼皇位。虽然一母至亲骨肉，也不能免于相互倾轧夺权。”（《资治通鉴》第一百八十卷）
显然，司马光把皇族内部纷争归结于“设藩”。
司马光的认识水平，代表了当时另一部分人的认识水平。
他们同样不明白，只要亲情文化影响下的政治理念——“家天下”存在一天，皇族内部的争斗、残杀就不会停止一天！
至高无上的“家长”地位诱惑，远远超出血肉之情的诱惑；觊觎至高无上的“家长”地位，足以使人们抛弃亲情的温馨。《尚书·蔡仲之命》里“皇天无亲，惟德是辅”的话，从另一个侧面道出“天子”在亲情方面的无依靠。
为了避免藩王势力的危胁，有的“家长”开始“削藩”。
所谓“削藩”，即不给皇族成员分封在外的机会，或分封在外也不给以足够多的地盘、兵力和财物等。对于军事要塞、京畿重地等，皇帝更是严加看守。
“削藩”削弱了皇族势力，可又带来“外戚”（王后及其家族）干政的危险局面。
由于削藩，君王家族衰弱在所难免。一旦老王“驾崩”，新王尚幼，王后及王后家族，开始以“家长”身分自居，掌管国家。
司马迁在《史记·外戚世家》中说：自古以来，君王们统治国家，“非独内德茂也，盖亦有外戚之助焉”，《易经》以乾坤两卦为始，《诗经》以《关雎》美后妃之德为始，《书经·尧典》赞美舜能治理，降下二女，以成其德，《春秋》讥讽娶妻不亲迎，“夫妇之际，人道之在伦也。礼之用，唯婚姻为兢兢”。
