卫子夫可能就没有父亲，她的母亲被称为卫媪，而她的同母异父弟弟卫青却跟着母亲的姓，这说明他们兄弟姐妹都是跟着母亲的姓，卫青的父亲是一个姓郑的小吏，而卫子夫的父亲史书上却没有说。
如果卫子夫的父亲姓卫，那她的同母异父的弟弟卫青跟着母亲丈夫的姓，恐怕不合道理。
卫子夫的母亲的几个孩子可能都是跟人私通生的，卫子夫的姐姐卫少儿也是跟一个小吏私通，生了霍去病。