按说，一般父母对子女容易偏爱小的，这并不为过。但太子杨勇毕竟也是独孤后的亲生长子，而且早已被立为了太子，废立又是朝中大忌。隋文帝和独孤后再偏心，也不至于非要废长立幼。他们之所以非要这么做，个中原因也不一而足，但主要就在于太子杨勇在两大问题上分别触犯了父亲和母亲。
在父亲这一面来说，由于隋文帝明白“自古以来的皇帝，如果奢侈就一定不能长久”的道理，所以他很是提倡节俭。宫中的嫔妃不作美饰，一般士人多用布帛，饰带只用铜铁骨角，不用金玉。有一次隋文帝患痢疾，太医开出的药方中有胡粉一两，宫中竟然找不出来。有一年大灾，隋文帝派人了解百姓吃什么食物，知道他们顶多吃些豆粉拌糠后，他竟流泪责备自己无能，命令撤销自己的常膳，不吃肉，不喝酒。而太子杨勇则常常把父亲崇俭的训诫当作耳边风，时间长了，便成为杨素等杨广的帮凶们背后贬损太子的口实，使隋文帝对太子“渐滋不悦”。
而在独孤后，综前所述，她有一大奇癖，即格外痛恨男人宠妾忘妻。尤其见不得丈夫与妻子之外的女人生子。平时听说哪个王侯置妾或妾有怀孕情事，她便要劝隋文帝给予惩罚，甚至还要免官。而太子杨勇偏偏又犯了母亲这一大忌。他不仅不喜欢自己的嫡妃元氏，与她从未产下一男半女，相反却与一帮妃妾们一口气生下（至其被废为庶人时）十个儿子！试想，独孤后对这样的儿子岂还能有所恩爱？不仅不爱，相反日益嫌恶，于是便决心废长子而立幼子。她派内侍侦察太子的其它过恶，一有所发现便向隋文帝吹风，最终在小儿子杨广和太尉杨素等相勾结的一系列阴谋中，合力说服隋文帝，使其下决心将太子废掉而改立了小儿子晋王杨广为太子。