公元586年，年逾不惑的杨素准备将外面的小妾迎娶过门，给她们一个正式的名分。可刚把想法透露给妻子郑祁耶，就遭到了一顿暴揍。杨素贵为宰相，被妻子一番闹腾，心中羞愤不已，便对妻子怒吼道:"你这个泼妇，太不讲道理了，如果我做了皇帝，一定不会立你为皇后!"

话音未落，杨素便拂袖而去。按理来说，夫妻之间吵架拌嘴非常正常，大不了床头吵完床尾和，互相体谅一番也就过去了。

可谁承想，杨素的妻子郑祁耶气不过丈夫对她的怒吼，竟然一溜烟跑到了皇宫，把杨素所说的话一五一十得上报给了隋文帝杨坚。

隋文帝杨坚非常清楚杨素说的不过是句气话罢了，再加上两人同病相怜，都不敢纳妾，所以也就不想治罪于他了。因此，当隋文帝杨坚听完郑祁耶的控告之后，隋文帝杨坚只是微微一笑，并没有要处置杨坚的意思。

然而，没想到此时一旁的独孤皇后却为郑祁耶出头，坚持要求隋文帝杨坚严惩杨素。隋文帝杨坚不敢违背老婆的意见，只好将杨素罢官，但留住了他的性命。

杨素出生于弘农杨氏家族，与隋文帝杨坚属于同族。杨素年轻的时候就以胸怀大志、不拘小节著称，不仅有着天不怕地不怕的性格，甚至为人还口无遮拦，一旦发起狠来，连皇帝都敢骂。

北周年间，杨素因为父亲杨敷死后追封事宜，竟然跟北周武帝撂挑子。杨素的父亲在北周官至骠骑大将军、汾州刺史，曾经率孤军守卫汾州城，只因弹尽粮绝没有后援，最终被北周俘虏。

杨敷是个硬汉子，被俘虏后宁死不屈，毅然决然地拒绝了北周的招降，最终竟然绝食而亡。可杨敷遇难后，朝廷却迟迟没有对其进行追赠和褒奖，进而惹得杨素大为不满。

杨素为了给亡父讨说法，不惜接二连三地向周武帝上表申诉，而且言辞之中多有怨恨，把皇帝给惹毛了，不但拒绝追赠、褒奖杨敷，而且下令处死杨素。而杨素却毫不畏惧地大声嚷嚷道:"给这样无情无义的昏君做事，我杨素死也是情理之中，死有什么可怕的，二十年后又是一条好汉!"

可谁承想，杨素这么一折腾，周武帝不但没有暴跳如雷，反而对其刮目相看，认为他是个顶天立地的汉子，当即便下令赦免了杨素的死罪。

紧接着，皇帝又下令追赠杨敷为大将军，谥号为忠壮，还将杨素提拔为了车骑将军、仪同三司。此后，杨素越来越受到周武帝的器重，一时间成为了美谈。

后来，权臣杨坚执掌北周后 杨素便转而投靠了杨坚，并且积极为其铲除异己，为其篡位称帝立下了大功。

隋朝建立之后，杨素被任命任命为了御史大夫，后来因为跟随晋王杨广灭陈，得以升任宰相。

此后，杨素又暗中帮助杨广夺取了太子之位，并帮助他顺利登基称帝。而隋炀帝杨广为了报答杨素，也任命他为尚书令，拜太师、司徒，封楚国公，不论是官职还是爵位，都达到了人臣之极。

虽然杨素贵为宰相，但已经年过不惑之年的他依旧没有改变他那口无遮拦的毛病，并因此差点落得个满门抄斩的结局。不过，经此一事，杨素也开始变得谨小慎微了起来，不论是中朝堂还是家里面，都不敢再口无遮拦。

由于杨素深谙帝王心术，他深知自己之所以得宠，主要是因为自己掌握着皇帝许多难以公开言说的秘密，使得皇帝投鼠忌器，不得不刻意笼络他。

其实，不管是在哪个朝代，掌握太多皇帝的秘密，都是一把双刃剑，固然可以使自己风光无限。可一旦有什么风吹草动，极可能引起皇帝的猜忌，甚至有可能会遭到家破人亡的危险。因此，杨素尽管位极人臣，但在隋炀帝杨广面前刻意保持低调，防止被他抓住把柄。

公元606年，当了多年宰相的杨素卧病在床，眼睛着身体状况一日不如一日。隋炀帝杨广得到消息后，便多次派了御医前往杨府看望，并且还御赐了杨素许多上好的药品。不过，每次御医回朝复命的时候，隋炀帝杨广又会迫不及待地询问杨素的病情，巴不得他早些死去。

虽然杨府上下对皇帝赐药欢心不已，但杨素却心如明镜，很清楚皇帝并不希望自己好起来，巴不得自己早死呢。毕竟只有他死了，才能让隋炀帝杨广曾经那些见不得光的事情，永远不会被泄露，再加上自己权倾朝野，怎么不让皇帝如芒在背呢？

正因如此，每当弟弟杨约劝杨素服药的时候，杨素死活都不肯服用，而是叹息着说道:"你们好糊涂啊，难道就没看出来陛下的本意是希望我早些死吗？因为只有我早死了，他才会心安啊，你说我还需要服药来活命吗？"

整个杨府听闻杨素此话，一时间错愕、悲伤交加。因为杨素一直坚持不肯服药，所以没过多久就病逝在了家中，享年63岁。

隋炀帝杨广得知消息后，表面上一副无比震惊、悲伤的样子，不仅下诏为杨素上谥号为"景武"，追赠其为光禄大夫，还厚葬了杨素，规格、礼仪异常隆重。

只可惜，杨素虽然已死，但其家族势力却非常强大，对于隋炀帝杨广来说依旧是一个重大的隐患。

因此，在之后的日子里，隋炀帝杨广对杨素家族百般提防，甚至还会有意无意地敲打他们一番。久而久之，竟然激起了杨素的儿子杨玄感的叛变。等到叛乱被平定之后，除了杨玄感和杨玄挺在战乱中被杀之外，杨素的其他儿子们也全部被捕杀。