便将卫青交给了他的父亲，然而卫青的父亲也是有着家室的，因此卫青并不受待见，年仅五六岁的卫青，便只得去给父亲放羊等。
同时还要受到其他兄弟的欺负。
直到卫青长大点，然后有了自己的主见以及能力之后，才选择回到了母亲的身边，但是母亲的生活也不好，还是下人。
因此卫青也只得选择做平阳公主的奴仆，生活才有所改善，不过依旧不尽人意。
而卫青命运的改变，无异于是其姐姐卫子夫被汉武帝看中进宫。
当时汉武帝的皇后陈阿娇一直没能够生育子嗣，因此很多人多汉武帝颇有微词。
而平阳公主作为汉武帝的姐姐，自然也是非常着急。
因此趁着汉武帝做客平阳府，便向他推举了很多的美女。
在众多女子之中不乏大家闺秀，但是汉武帝最终也就是选择了卫子夫。
虽然此时的卫子夫不过是一个平阳府之中的侍女，但是皇帝看中的，自然也就送进了皇宫。
然而进入之后便长达一年多没有了音信，直到汉武帝打算精简皇宫之中的侍女、奴仆之时，才又看到了卫子夫。
这次卫子夫忠于怀有了身孕，受到了汉武帝的重视和宠幸。
然而却引起了当时还是皇后的陈阿娇的不满，为了报复卫子夫，陈阿娇竟然派人去谋害卫青。
幸亏被同僚公孙敖所就，才得以活命。
在汉武帝得知此事之后，为了保证卫子夫以及其家人的安全，便将卫子夫封为了夫人，卫青被封为侍中。
而随着卫子夫的第一个孩子降世，卫子夫的地位也水涨船高，得到了汉武帝的宠爱，尤其是汉武帝对卫长公主极为喜爱，因此恩赏也逐渐惠及卫青。
之后卫青的崛起其实和汉武帝的内外朝制度有着很大的关系。
汉武帝为了加强中央集权，削减丞相的权力，便着手设立内外朝制度。
而卫青作为侍中，正是汉武帝极为亲近之人，受到了汉武帝的重用，经常和汉武帝出入，参与政治决策。
而汉武帝为了培养自己的亲信，有着卫子夫的关系，卫青的官职一再提高，成为了太中大夫。
并且此时卫青的军事才能也逐渐的显现，开始向军事方面发展。
因为汉武帝认识到了培养自己党羽的重要性，对卫氏一族都有着极大的封赏，卫青的几位姐姐都嫁给了当朝显贵。
为什么卫青能够从一个侍中文官逐渐转变为武将呢，其实和他之间的工作有关。
在平阳府为奴的时候，乃是骑奴，也就是掌管马匹等事务的，因此卫青的骑术非常好。
加上身为汉武帝身边亲近之人，也是经常和汉武帝出去打猎等，逐渐被汉武帝发现了卫青的军事才能。
因此得以在公元前129年被封为车骑将军，领兵讨伐匈奴。
而这才是卫青自我展示的开始，面对匈奴的入侵，卫青屡屡获胜，封爵也日渐尊贵。