王繇是唐中宗第三女定安公主和驸马王同皎的儿子。长大后,于开元十年(723年)娶唐玄宗长女永穆公主为妻。永穆公主是唐玄宗的爱女,但她和驸马都是性格老实规矩的人,《资治通鉴》就记载过一则李林甫党羽王鉷的儿子王准,欺负戏弄永穆公主和驸马王繇,身边人都气愤不已,而驸马夫妻却忍气不去告诉唐玄宗,最终息事宁人的故事。
王繇和永穆公主生有一子,叫王潜,也是老实人。小时候皇帝赏赐给他一些玩具,他一律不爱。长大了,有意给他配一个公主——那王家就是祖孙三代娶公主了,也算一段佳话。但他坚辞不受,做了个很清廉的官。
王繇死后,天宝七年(748年),永穆公主奏请出家为道士。遂将平康坊的家宅建为道观。