西漢初年，匈奴趕走了月氏、烏孫，佔據了河西。匈奴不僅在佔領區徵收賦稅，還嚴重地破壞和阻礙中西交通；並與羌人連結，威脅著漢朝的安全。面對這種情況，漢高祖劉邦曾經出兵抗擊，但是不幸失敗，被圍於平城（今大同市東），後用陳平之計才得以脫身。此後，雙方簽訂了和親盟約。匈奴通過和親，每年從漢朝獲得大量的絮、繒、酒、米等衣食。但是匈奴仍不斷地派兵南下，騷擾漢朝邊境，殺戮吏民，虜掠人口。漢朝初建，無力反擊，只有忍讓。
在西漢建國的六七十年間，匈奴勢力變得更加強大，史稱其有“控弦之士三十餘萬”[2]。匈奴貴族為了滿足其貪慾，對漢朝的邊境侵擾日甚。在公元前201年至公元前133年間，匈奴騎兵連年南下，虜掠人畜，劫奪財物，踐踏莊稼，漢朝北方廣大地區受到嚴重危脅。在此數十年中，西漢王朝經過長期的休養生息，特別是經過“文景之治”後，國勢變得十分強盛。到公元前140年，漢武帝劉徹登上皇位時，對匈奴反擊的條件已經成熟。於是漢王朝制定了以武力防禦和抗擊匈奴的方針。建元二年（前138），漢武帝派遣張騫出使西域，前去尋找被匈奴迫逐西遷的大月氏、烏孫等民族，以聯合他們共同抗擊匈奴。張騫在中途兩次被匈奴扣留達十一年之久，於元朔三年（前126）方才還歸長安。這此出使，並沒有達到原來的目的，但對西域的地理物產、風土人情卻有了比較深入的'瞭解，堅定了漢武帝以武力抗擊的決心。於是他任命衛青和霍去病為大將，發動了三次大規模的戰役：公元前127年的河南（河套以南）之戰，前121年的河西之戰和前119年的漠北之戰。
河西之戰主要是由青年將領霍去病領導進行的。據記載，元狩二年春，霍去病“將萬騎出隴西”，西行過焉支山，深入匈奴地千有餘裡，大破匈奴，斬獲甚多。同年夏，漢王朝乘勝出擊，再次進軍河西。這次