隋炀帝登基后，汉王杨谅在并州发动叛乱，麦铁杖继续跟随杨素征讨汉王杨谅，每次战斗总是冲锋在前，因此被任命为柱国大将军。不久后，他被调任为莱州刺史，但在那里并没有取得什么政绩。之后又调任汝南太守，并逐渐学习法令制度，使盗匪渐渐绝迹。
后来，他上朝参加考功，考功郎窦威嘲笑铁杖问道：“麦是什么姓?”铁杖立即回答道：“麦窦(豆)没有差异，有什么值得奇怪的?”窦威非常羞愧，无言可答，当时的人们都认为麦铁杖聪明敏捷。
不久之后，麦铁杖被调任为右屯卫大将军，隋炀帝对他更加亲近。麦铁杖深感隋炀帝对他的恩情如山，时常怀揣着忠诚报国的志向。
在大业八年(612年)，隋炀帝发起了对高句丽的征讨，麦铁杖请求作为先锋。他回头对随从医生吴景贤说：“大丈夫的生命有所归宿，岂能用艾炷烫鼻梁，用瓜蒂喷鼻孔，治疗黄病无关紧要，却死在妇人怀里呢?”当他将要渡过辽河时，桥尚未完工，距离东岸还有几丈的距离，高句丽军队大批涌来。麦铁杖跳上岸，与高句丽军搏斗，最终战死。与他一同阵亡的还有武贲郎将钱士雄、孟金叉。
隋炀帝为铁杖哀悼，赎回了他的尸体，并下诏说：“铁杖志坚勇猛，平日以功勋著称。这次随朕讨伐贼寇，他身先士卒，冲锋陷阵，表现出高尚的义气和勇猛的精神。虽然他已经身死，但功绩永存。他的誓言至忠至诚，追怀他的平生，让人伤感不已。应赐给他特殊荣誉，以表彰他的功德，可追赠光禄大夫之职，追封宿国公，谥号武烈。”铁杖之子麦孟才承袭爵位，不久授为光禄大夫。麦孟才还有两个弟弟，他们都被拜为正议大夫。
隋炀帝还赠钱巨万，为铁杖办丧事，赐鍂车京丧车，前后配有吹鼓手，丧车的竿子上插着羽毛，在平壤被贼军打破的宇文述等一百多人都在车前为铁杖执绳引棺，王公以下的官员送到郊外。
