第一重臣，而且是军队第一统帅，军政两手都很硬，这让杨广深为忌惮，在杨素面前，他甚至有时候感觉自己很渺小、懦弱，他皇帝的威望还比不上杨素的权势，天下不少人只知杨太仆，而不知皇帝陛下。

无论是从权力平衡考虑，还是从增加自己威望考虑，杨广在继位之后就无论如何不能再容忍杨素了，但他不可能一刀把杨素杀了，那样会引起朝纲大乱，那也不是一个皇帝该做的事情，毕竟杨素有拥立之功，就在杨广想要以其它办法除去