卫少儿在平阳侯府做侍者。当时平阳人霍仲孺以县吏的身份在平阳侯家供事,同卫少儿私通而生下霍去病。霍仲孺差事完成后回到家中又娶妻生子,与卫少儿断了关系不通音信。 卫少儿后与陈平曾孙陈掌有私。
过了一段时间,少儿的妹妹子夫得宠于汉武帝。建元三年,卫子夫复幸有孕,陈皇后无子妒忌,陈母馆陶公主就派人逮捕了卫子夫的弟弟卫青,想杀死他。所幸卫青的朋友骑郎公孙敖和一些壮士把卫青抢了出来,卫青逃过一劫。汉武帝听闻此事,就召来卫青,任命他当建章监,加侍中官衔。连同他的同母兄弟们都得到显贵,皇上给卫家兄弟的赏赐,数日之间竟累积千金之多。卫家长女卫君孺做了太仆公孙贺的妻子;卫家次女卫少儿原来同陈掌私通,武帝便召来陈掌,使他显贵。子夫做了武帝的夫人。卫青升为大中大夫。
元朔元年,卫子夫被立为皇后。到卫皇后尊宠之时,卫少儿嫁与詹事陈掌为妻。 二人子女无记载。
霍去病由于是皇后姐姐的儿子而地位尊贵,并受到皇帝的宠幸,十八岁便为侍中,善于骑马射箭。他长大成人后,才知道自己的父亲是霍仲孺,但一直未来得及探访。后来霍去病被封为骠骑将军去攻打匈奴,路过河东,与霍仲孺相见,为霍中孺买了大量的田地、房宅、奴婢后离开。得胜还军后,霍去病又经过河东,把十几岁的霍光带到了长安。
母:卫媪(名不详,卫可能是本姓,也可能是夫姓——即卫家兄妹的父亲之姓。在《史记》研究中有争议。)
同父兄:卫长君
同父姐:卫君孺
同父妹: 卫子夫
同母弟:卫青、 卫步、卫广
子:霍去病