杨素，出身于官宦世家，祖父是西魏的辅国将军，父亲则是北周的汾州刺史。自幼好学，精通经史子集，擅长草隶书法，文章也写得极好。北周武帝曾让他起草诏书，他下笔即成，文辞兼美，令武帝大为称赞。
尽管杨素的文才出众，但其军事才能更为突出。他多次为隋文帝杨坚制定平定南陈的计划，组建了史上空前的水军舰队，并打造了高达五层、载战士八百人的“五牙”巨舰。在短时间内，杨素率领的水上铁军便将南朝的水军扫荡一空，南陈随即灭亡。在隋军占领江南后，叛乱四起，杨素又领兵平定了叛乱。隋朝能够一统华夏，杨素功不可没。
隋朝统一大业完成后，隋文帝杨坚分三路对北方的突厥展开大反击。杨素作为其中一路的总指挥，率领训练有素的骑兵力量和有针对性的作战方案，成功地打败了突厥骑兵，使得突厥人失去了锐气。随后，杨素扶植傀儡，使东突厥汗国与西突厥汗国分庭抗礼。
除了军事才能，杨素的政治嗅觉也非常敏锐，在关键时刻决不站错队。在杨坚篡位北周之前，杨素便主动和他勾连在了一起，为杨坚出谋划策、冲锋在前。到了杨坚的儿子们争夺帝位的时候，杨素又早早地结交杨广，为其夺得帝位立下了汗马功劳。
