衛(wèi)青的母親生有一男三女，即兒子衛(wèi)長(zhǎng)君，長(zhǎng)女衛(wèi)君孺、次女衛(wèi)少兒、三女衛(wèi)子夫。丈夫死后，她仍在平陽(yáng)侯家中幫傭，與同在平陽(yáng)侯家中做事的縣吏鄭季私通，生了衛(wèi)青。后來，他的母親感覺供養(yǎng)他非常艱苦，就把他送到了親生父親鄭季的家里。但鄭季的夫人根本看不起衛(wèi)青這個(gè)私生子，讓他到山上放羊，鄭家的幾個(gè)兒子也不把衛(wèi)青看成手足兄弟，隨意苛責(zé)。衛(wèi)青在這樣的環(huán)境下生活，受盡了苦難，在他的性格形成上打下了深深的烙印。

衛(wèi)青長(zhǎng)大后，不愿再受鄭家的奴役，便回到母親身邊，并做了平陽(yáng)府的騎奴。有一次，衛(wèi)青跟隨別人來到甘泉宮，一位囚徒看到他的相貌后說：“你現(xiàn)在窮困，將來定為貴人，官至封侯?！毙l(wèi)青笑道：“我身為人奴之子，只求免遭笞罵，已是萬幸，哪里談得上立功封侯呢？”

前139年(建元二年)春，衛(wèi)青的姐姐衛(wèi)子夫被漢武帝選入宮中，衛(wèi)青也被召到建章宮當(dāng)差。這是衛(wèi)青命運(yùn)的一大轉(zhuǎn)折點(diǎn)。

建元三年，衛(wèi)子夫有了身孕，引起了陳皇后的嫉妒。陳皇后是漢武帝姑姑館陶長(zhǎng)公主劉嫖的女兒，與漢武帝成親后，被立為皇后，但是無子，知道衛(wèi)子夫懷孕得寵后數(shù)次要死要活。館陶大長(zhǎng)公主為了給女兒出氣，意圖謀害衛(wèi)青。她抓到衛(wèi)青，準(zhǔn)備處死。衛(wèi)青的好友公孫敖聽到了消息，馬上召集了幾名壯士，趕往搶救，把衛(wèi)青從死亡的邊緣奪了回來。漢武帝得知后，大為憤怒，于是任命衛(wèi)青為建章宮監(jiān)、侍中，子夫?yàn)榉蛉?，并召貴衛(wèi)青的兄弟，數(shù)日間給衛(wèi)青的賞賜便達(dá)到千金之多。公孫敖也因此益加顯貴。衛(wèi)青后任太中大夫。

前129年(元光六年），匈奴又一次興兵南下，前鋒直指上谷（今河北省懷來縣）。漢武帝果斷地任命衛(wèi)青為車騎將軍，迎擊匈奴。從此，衛(wèi)青開始了他的戎馬生涯。這次用兵，漢武帝分派四路出擊。車騎將軍衛(wèi)青直出上谷，騎將軍公孫敖從代郡（治代縣，今山西大同、河北蔚縣一帶）出兵，輕車將軍公孫賀從云中（今內(nèi)蒙古托克托東北）出兵，驍騎將軍李廣從雁門出兵。四路將領(lǐng)各率一萬騎兵。衛(wèi)青首次出征，但他英勇善戰(zhàn)，直搗龍城（匈奴祭掃天地祖先的地方），消滅匈奴數(shù)千人，取得勝利。另外三路，兩路失敗，一路無功而還。漢武帝看到只有衛(wèi)青勝利凱旋，非常賞識(shí)，加封關(guān)內(nèi)侯。

龍城之役在漢匈交戰(zhàn)史上具有劃時(shí)代的意義。漢朝自高祖劉邦建國(guó)以來，屢屢受到北方匈奴的掠奪羞辱，如高祖“白登七日”之困，呂后受冒頓單于書信之辱，孝文帝十四年匈奴十四萬騎大入關(guān)，斥候一度略至長(zhǎng)安附近的甘泉，以及匈奴頻頻對(duì)漢朝邊郡和百姓的燒殺劫掠等，可謂漢朝的心腹大患。龍城的勝利打破了自漢初以來“匈奴不可戰(zhàn)勝”的神話，大大鼓舞了漢軍士氣，成為漢匈戰(zhàn)爭(zhēng)的轉(zhuǎn)折點(diǎn)，為以后漢朝的進(jìn)一步反擊打下了良好的人心基礎(chǔ)。

漢朝對(duì)匈奴的反擊，使得匈奴的進(jìn)犯更加猖狂了。公元前128年（元朔元年）的秋天，匈奴騎兵大舉南下，先攻破遼西，殺死遼西太守，又打敗漁陽(yáng)守將韓安國(guó)，劫掠百姓兩千多人。漢武帝派李廣鎮(zhèn)守右北平（今遼寧省凌源西南），匈奴兵則避開李廣，而從雁門關(guān)入塞，進(jìn)攻漢朝北部邊郡。漢武帝又派衛(wèi)青出征，并派李息從代郡出兵，從背后襲擊匈奴。衛(wèi)青率三萬騎兵，長(zhǎng)驅(qū)而進(jìn)，趕往前線。衛(wèi)青本人身先士卒，將士們更是奮勇爭(zhēng)先。斬殺、俘獲敵人數(shù)千名，匈奴大敗而逃。

前127年（元朔二年），匈奴集結(jié)大量兵力，進(jìn)攻上谷、漁陽(yáng)。武帝派衛(wèi)青率大軍進(jìn)攻久為匈奴盤踞的河南地（黃河河套地區(qū)）。這是西漢對(duì)匈奴的第一次大戰(zhàn)役。衛(wèi)青率領(lǐng)四萬大軍從云中出發(fā)，采用“迂回側(cè)擊”的戰(zhàn)術(shù)，西繞到匈奴軍的后方，迅速攻占高闕（今內(nèi)蒙古杭錦后旗），切斷了駐守河南地的匈奴白羊王、樓煩王同單于王庭的聯(lián)系。然后，衛(wèi)青又率精騎，飛兵南下，進(jìn)到隴縣西，形成了對(duì)白羊王、樓煩王的包圍。匈奴白羊王、樓煩王見勢(shì)不好，倉(cāng)惶率兵逃走。漢軍活捉敵兵數(shù)千人，奪取牲畜一百多萬頭，完全控制了河套地區(qū)。