楊素是北周的重臣，他父親早年戰死，由於缺少管教，從小就放蕩不羈，不拘小節。當時的人都不了解他，只有從叔楊寬很看重他，對自己的子孫說：「楊素以後必然超群絕倫，他不是一般的人才，你們是比不了他的。」
後來楊素開始認真鑽研學問，很快就成為一個精通各種學問的大家。楊素認為父親為國盡忠，還沒有受到朝廷的褒獎，就上表申訴。周武帝沒有答應他的請求，楊素就再三上表。周武帝生氣了下令將楊素推出去斬首，楊素高聲道：「我侍奉無道昏君，死也是應該的！」周武帝覺得他說得很壯烈，於是就放了他，並且追贈他父親為大將軍，溢號「忠壯」。楊素因為這件事出了名，被封為車騎大將軍。
周武帝經常讓楊素替他寫詔書，楊素文不加點，很快就能寫好，很受周武帝的賞識，對楊素說：「你好好努力，不愁自己得不到富貴。」楊素回答道：「我只怕富貴來找我。」很是自負。
楊堅和楊素兩人交情一向很好，楊堅能稱帝，楊素也出了不少力，楊堅當上皇帝後，厚待楊素，拜他為御史大夫。楊素的妻子很兇焊，楊素很討厭她，有一次發火了，對她說：「我如果當了皇帝，你一定做不了皇后！」他妻子很生氣，把這話上報給了朝廷，楊素因此被免職。
楊素多次向楊堅進獻滅陳的計劃，沒過多久他就被任命為信州總管。楊素上任後一心一意準備滅陳，造了很多戰船，配合隋軍滅掉了陳朝，統一全國。後來又為鞏固隋朝江山做出了不少貢獻，鎮壓了不少叛亂。
楊素性格粗疏，但口才很好，能言善辯。他對人的評價在心裏面都有高低之分，朝廷大臣裡面，他最看重髙姓大臣，很尊敬牛弘，對薛道衡也很好，但很輕視蘇威，而別的朝廷大臣大多都被他排擠威懾。
楊素足智多謀，率兵打仗的時候處變靈活，但是對待士兵很嚴厲，稍微違反軍令都會被斬首。每次作戰之前，他都會找出許多人的過失將其斬首，多的一次要殺100多人，少的也有十來個。等到和敵人交戰的時候，他總是先派出一兩百人出戰，衝進敵陣被包圍住就算了，如果不能衝進去就退回來的，一律殺頭，然後又派兩三百人再次衝鋒，仍然按照上面的方法處理。將士們都怕得不得了，懷著必死的心態打仗，所以戰無不勝。雖然他很殘暴，但是那些跟隨他出戰的人，即使有一點點小功勞也會被記下來，很快就能得到賞賜和提拔。而其他將領則不能像他那樣，因此將士們仍然願意跟他出戰。
楊素的功勞越來越大，所受的信任也越來越重，楊廣為了奪取太子之位，就拉籠了楊素為其賣命。楊素本來就心術不正，隋文帝病重，發現楊廣的劣跡，想召回楊勇，楊廣趕緊和楊素商議對策。楊素假傳聖旨，把東宮的衛士調進皇宮守衛，實際上控制了皇宮。直接幫助楊廣殺害父親，篡奪了皇位。
漢王楊諒起兵討伐楊廣，楊素帶病前去鎮壓，很快就取得了勝利。返回京城後，又隨從楊廣到洛陽去。隋煬帝任命楊素為營造東都的大監，賞賜給他無數財物，他的兒子們也都得到了髙官厚祿。楊素雖然因為擁立隋煬帝和平定楊諒的叛亂而立下大功，但由於權力實在太大，引起了隋煬帝的猜忌，表面上對他很尊敬，但內心裡對他沒什麼感情。楊素病重的時候，隋煬帝讓名醫去給他看病，並賜給他許多上等的藥材。實際上卻又悄悄打探病情，生怕楊素不死。楊素也知道自己的名望和地位已經到了頂峰，於是就不肯吃藥，也不調養自己的身體，他對弟弟說：「我難道還需要活著嗎？」乾脆閉上眼睛等死。楊素身居髙位，朝廷給他的賞賜多得數都數不過來，但是他仍然變本加厲地貪財，大肆搜刮。他在洛陽和長安蓋的住宅異常奢侈華麗，全國各地都有他的房子，他名下的旅店、水碾、肥沃的田地和精美的住宅數以百千計，當時的人都對他的貪婪和卑鄖感到非常不齒。
