魏玄，字僧智，新安人。南北朝后期时曾任北周骠骑大将军和刺史等职，领京北尹。隋初，官拜金紫光禄大夫。
魏玄祖籍任城(今山东济宁），其父魏承祖在北魏宣武帝时期从南齐投奔北魏，并安家于新安。魏玄生长于新安，他自幼体魄强健，颇有胆略，曾拜高人为师，习练了一身好武艺，长大后因为人忠义、武艺高强，被乡人推举为乡勇统领，负责抵御匪寇和安全保卫。
历史上中国局势最为混乱的应属南北朝，这是一个群雄割据、立国称帝，又相互吞并、杀伐不断的战乱时期。
前后169年间曾出现19个国号和90多个帝王，可谓是你方唱罢我登场。南北朝时期立国最早、传位最长的当属北魏，但到了最后一位皇帝孝武帝元修时，北魏出现了东魏、西魏的0局面。东西两魏多次交战，而将北魏国都洛阳作为其争夺的核心地区。公元534年，洛阳已是危在旦夕。为了保命，孝武帝只带了数名随从仓皇出城，西逃弘农(今灵宝）。在孝武帝西逃途经新安时，魏玄看到他狼狈不堪的逃亡样子，心中感慨不已，立志要择随明主，打造一个国泰民安的国家来。
随着孝武帝的出逃，历经112年的北魏也随之灭亡。新安为洛阳畿辅之地，唇齿相依。孝武帝西逃后，新安自然民心惶乱，各怀去就，逃避战乱。魏玄的母亲与胞弟魏并也都逃到县南的宜阳避难。而魏玄却带领乡勇参加抵抗东魏的战事活动。然北魏大势已去，在邙山一役中，东魏势若破竹，洛阳、宜阳皆被东魏大军所控。此时，魏玄与母亲及弟弟虽然相离非远，但却咫尺天涯，不能相聚。胸怀大志的魏玄不愿投降东魏便带领所属乡勇投在西魏丞相宇文泰麾下。
在长达十几年的东西两魏战争中，魏玄为西魏屡立战功，深得丞相宇文泰的信任和器重，成为得力大将。公元550年，东魏权臣高欢之子高洋废掉东魏皇帝，建立北齐。公元557年，西魏丞相宇文泰之子宇文觉也废掉西魏皇帝，建立北周，并建都于长安。北周建立后，虽然宇文觉为帝，但朝中大权掌握在宇文护手中，宇文护专横跋扈，无所不为，孝闵帝宇文觉在位未及一年便被宇文护杀掉，立宇文毓(宇文觉胞弟）为周明帝。第二年，宇文护又杀了周明帝，立宇文邕(亦为宇文觉胞弟）为周武帝。武帝颇有作为，不甘做傀儡皇帝，暗中联络文臣武将欲除宇文护，其中视魏玄为心腹。建德二年，武帝诱杀了宇文护，夺回了全部朝权。
在北周建国之初的数年之间三换帝位的特殊时期中，魏玄为外抗北齐，内稳朝局作出了卓著贡献。所以，在保定元年，武帝宇文邕擢升他为骠骑大将军，开府仪同三司，领京北尹，给予了很高的信任和待遇。魏玄为人直率，襟怀坦白，周宣帝宇文赟时因忤旨被罢免官职。宣帝卒后，静帝宇文阐任杨坚为丞相，杨坚素知魏玄人品才能，让其任熊州刺史。刺史在当时是负责监督各郡的监察官。刺，检举不法行为；史，皇帝所派使者。由此可见，魏玄深受皇帝信任。在任期间，他公正执法，正存简惠，深得熊州百姓爱戴。几年后，又转任和州刺史之职。因和州地处军事要位，加之北周东征西讨，欲平天下，魏玄虽任刺史之职，但他把主要精力用在了军事方面，使和州同心协力，众志成城，成为北周的一支劲旅。因他军功卓著，被朝廷进爵为公，这在当时是一种非常破格的封赏。
南北朝后期，北周的最大敌国就是北齐。北齐有位大将叫斛律明月，他武艺高强，善骑射，人称射雕手，曾领兵屡败北周军，北周兵将对其非常忌惮。而在斛律明月率兵攻打宜阳时，虽然兵威甚盛，但魏玄用兵如神，指挥有方，每战必挫齐军，最后斛律明月大败而归。
隋王朝建立后，魏玄出任淮州总管，封同轨郡公。隋文帝仁寿初年，山獠(贼寇）反叛，魏玄为资州刺史前往平叛，为了避免伤亡，他不听劝阻，以惊人魄力单骑会獠人。獠帅深为叹服，遂归顺朝廷。
隋炀帝继位后，调任魏玄为卫尉卿。一年后，迁工部尚书，后拜魏郡太守、右候卫大将军。大业八年，转刑部尚书。曾随炀帝征伐高丽国，因炀帝昏庸无道，将士受制，战事屡有不利，诸军伤亡惨重，唯独魏玄全军而还，深得炀帝赏识，拜其为金紫光禄大夫。
大业九年，炀帝再次亲征高丽，命魏玄与代王杨侑苗守京城长安，并封他为京兆内史，许以便宜行事，还让代王以师待之。由此可见，魏玄当时在炀帝心目中的位置是何等重要。
隋炀帝出征高丽之后，杨玄感乘机起兵黎阳，围攻东都。魏玄获报后亲率步骑精兵七万增援洛阳。他率兵途经弘农(今灵宝）时，挖掘了玄感之父杨素坟墓，并宣布玄感罪状，以激励将士奋勇作战。他在洛阳 与玄感展开苦战，使玄感无法集中力量攻打洛阳。直至炀帝派宇文述等救援大军到来，杨玄感才弃军西逃。魏玄又与宇文述派兵追击，杨玄感叛乱以失败而告终。经此变故，炀帝感赞魏玄乃社稷之臣，赐良田、甲茅、资物万计，仍令他镇守长安。
隋炀帝是中国历史上最荒淫腐败的皇帝，他的恣意挥霍和滥杀无辜激起了朝野振怒，全国各地纷纷起义，烽烟四起，但他仍不思悔改，带着群臣到江南寻欢作乐。魏玄看到炀帝已丧心病狂，朝弊更是积重难返，便上表辞官还乡，然而炀帝不许。
大业十三年，趁炀帝巡游江南之机，李渊率兵入关，代王杨侑开城投降。魏玄自知不能坚守，遂忧致病，隐居家中，不久病卒，享年七十七岁。