常遇春隨徐達(dá)率軍攻占廬州，又與鄧愈會(huì)合征服江西多個(gè)郡縣，率兵東征張士誠(chéng)，大敗之，出師北伐平定山東，獲得塔兒灣大捷，取元上都開(kāi)平，全殲留守元軍
至正二十四年（1364年）七月，常遇春先是隨徐達(dá)率軍攻占廬州。接著，又與鄧愈會(huì)合征服江西的新淦、吉安、贛州、南安等郡縣，嶺南韶州、南雄等地望風(fēng)降附。第二年五月，常遇春又奉命與鄧愈率軍攻取湖北的安陸、襄陽(yáng)；十一月與徐達(dá)率軍攻占了泰州。至正二十六年（1366年）八月，朱元璋以徐達(dá)為大將軍，常遇春為副將軍，率兵二十萬(wàn)東征張士誠(chéng)。按照朱元璋的部署，徐達(dá)、常遇春的軍隊(duì)先攻取了湖州和杭州等地，翦除了張士誠(chéng)的羽翼，平江（今蘇州）孤立無(wú)援，經(jīng)過(guò)長(zhǎng)達(dá)十個(gè)月的圍攻，平江城破，張士誠(chéng)敗死。常遇春以功進(jìn)封為鄂國(guó)公。
至正二十七年（1367年）十月，朱元璋以徐達(dá)為征虜大將軍，常遇春為征虜副將軍，率二十五萬(wàn)大軍出師北伐。當(dāng)時(shí)北方元朝軍事力量已經(jīng)大大削弱，所以，徐達(dá)、常遇春出師三個(gè)多月，即平定山東。洪武元年四月，明軍在洛陽(yáng)的塔兒灣與元軍遭遇，常遇春?jiǎn)悟T突入敵陣，麾下壯士從之，勇猛沖殺，在洛水之北擊潰元軍五萬(wàn)，俘獲無(wú)算，史稱(chēng)塔兒灣大捷。這一仗，占領(lǐng)了河南和潼關(guān)，奪取了陜西的門(mén)檻，為攻取元大都創(chuàng)造了極為有利的形勢(shì)。
洪武元年（1368年）閏七月，徐達(dá)、常遇春率馬步舟師由臨清沿運(yùn)河北上，連下德州、通州。元順帝攜后妃、太子等逃奔上都開(kāi)平（在今內(nèi)蒙古正藍(lán)旗東）。八月二日，徐達(dá)、常遇春一舉攻占大都，改為北平府。稍事休整即又揮軍西進(jìn)，攻取山西。與精銳的擴(kuò)廓帖木兒軍進(jìn)行了艱苦的搏戰(zhàn)，平定山西。洪武二年三月，西征軍進(jìn)攻陜西，元將李思齊由鳳翔奔臨洮，力竭投降。元順帝乘明軍主力長(zhǎng)驅(qū)秦晉之機(jī)，命丞相也速率軍向北平反撲，兵鋒已抵通州。常遇春又奉命與李文忠率步卒八萬(wàn)、騎士一萬(wàn)馳救北平，元軍聞?dòng)嵓聪虮碧颖?，常遇春率軍追奔千里，大獲全勝。為了覆其巢穴，最終解除元軍對(duì)北平的威脅，常遇春又率軍徑取元上都開(kāi)平，順帝逃到應(yīng)昌府（又稱(chēng)魯王城，虎城，故址在今內(nèi)蒙古克什克騰旗西北達(dá)里諾爾西）。常遇春奪取開(kāi)平，全殲留守元軍，繳獲車(chē)萬(wàn)輛、馬三萬(wàn)匹、牛五萬(wàn)頭。

常遇春自開(kāi)平率師南歸，行至柳河川，得暴病卒于軍中，朱元璋親自出奠，追封“開(kāi)平王”，一生為將未曾敗北，軍中有“常十萬(wàn)”之稱(chēng)，人們美稱(chēng)他為“天下奇男子”
洪武二年（1369年）七月七日（8月9日），常遇春自開(kāi)平率師南歸，行至柳河川（今河北龍關(guān)縣西），得暴病卒于軍中，年僅四十歲。朱元璋聞喪大為震悼，賜葬鐘山之下，并親自出奠。封子常茂為鄭國(guó)公，歲祿二千石。常茂隸宋國(guó)公馮勝北征納哈出，不奉約束，被削爵，安置在廣西龍州；又別封次子常升為開(kāi)國(guó)公。建文末，以抗靖難師安置云南臨安（今云南建水），憂(yōu)死。
可惜，常遇春只活到40歲，就病死于柳河川。一生為將未曾敗北。自言能將十萬(wàn)軍橫行天下，軍中有“常十萬(wàn)”之稱(chēng)，人們美稱(chēng)他為“天下奇男子”。死后，被追封為“開(kāi)平王”，故六泉口又有“開(kāi)平寨”之稱(chēng)。當(dāng)?shù)卮迕駷榧o(jì)念常遇春智勇過(guò)人，還在大古嶺下的在百丈潭側(cè)建廟祭祀，當(dāng)時(shí)稱(chēng)將軍廟，廟址所在村落因此得名將軍村。該廟規(guī)模壯觀(guān)，翹檐飛角，廟內(nèi)塑有常將軍全身像。抗日戰(zhàn)爭(zhēng)中廟宇為日軍焚毀，但村民仍保留“拜將軍年”的舊俗。