杨广早就知道，杨勇很难把这个太子做得一帆风顺。储君这一职位其实乃天下至难居之地。
在太子达到可以接班的年龄之后，皇帝的长寿就是对太子利益的损害，储权与皇权的矛盾不可避免地在皇帝和太子之间形成一种微妙的心理影响，这就是古代的皇位接班人没有几个有好下场的原因。
杨广深知这种心理影响对父亲的作用，这头老狮子是在一系列的阴谋中登上皇位的，他不但具有普通人所不具有的铁腕、果断，更具有寻常政治人物所没有的对阴谋的敏感，“猜忌苛察，乃至子弟，皆如仇敌。”
（《资治通鉴》卷一百八十）在这样的人面前当太子，没有特殊的天分一定会翻船。
果然，在太子二十岁左右，发生了这样一件意味深长的事：那一年的冬至，大臣照例要给皇帝行礼。考虑到与日渐年长的皇太子搞好关系的必要，许多大臣从皇宫出来又纷纷赶到太子东宫，于是形成了不约而同百官毕集的场面。
正在休息的杨坚突然听到东宫中隐隐传来朝乐之声，不禁十分奇怪，立刻命人出去问是怎么回事。[转自铁血社区p://bbs./]
太监回报：太子见百官毕集，就令左右盛张乐舞，接受朝贺。
本来喜气洋洋的杨坚立刻面如冰霜：这是礼法所不允许的。他那颗对权力异常敏感的心立刻紧缩起来，脑海里马上浮现出一系列不祥的词汇：“勾结”、“攀附”、“政变”、“逼宫”。他知道，即使太子没有不臣之心，然而难保没有小人，如同当初劝他夺北周帝位一样，捉摸皇帝的宝座。
史书说，由此之后，皇帝对太子“恩宠渐衰”，对太子的不满屡屡现于辞色。皇帝召集身边的重臣，与他们探讨更换太子的可能性。虽然这一想法被大臣们劝阻，但皇帝的内心已经被帝国高层悉知。
消息很快传到了晋王府，杨广知道在这种形势下他要做的是什么，一个是一如既往地用出色的表现来做老大的反衬；另一个是看准时机，对杨勇这块摇摇欲坠的石头轻轻加上一把力。
这两方面他都做得很成功。在统一江南之后，杨广就任江南总管。他以极大的热情投入工作中，整整十年间没有好好休息过。他的统治手腕也非常高明。他放弃了歧视南人的高压统治，从尊重南方文化、尊重和延揽南方精英人物入手，稳定江南人心。
在他不遗余力“广搜英异”之下，南朝几乎所有知名人物都成了晋王府的常客。他主动学习南方方言，尽力资助文化事业，很快赢得了江南上层的人心。在他治理的十年中间，占帝国半壁江山的南方经济迅速复苏，社会安定，百姓安居，一次叛乱也没有发生。
南方士人这样称赞他：“允文允武，多才多艺。戎衣而笼关塞，朝服而扫江湖。……继稷下之绝轨，弘泗上之沦风。”（《隋书?炀帝纪》）