抗日戰(zhàn)爭爆發(fā)后，劉伯承任八路軍第129師師長，和政治委員鄧小平一起，率部奮戰(zhàn)在太行山上。面對不可一世的日本侵略軍，他經(jīng)常用“勇是男兒頭上的桂冠”、“無角綿羊受欺壓，有蟄的黃蜂不可侮”等話語來激發(fā)將士們的對敵斗爭信心。

他指揮部隊先后進行了夜襲陽明堡、設(shè)伏七亙村以及長生口、神頭嶺、響堂鋪、晉東南反“九路圍攻”、冀南反十一路“掃蕩”、百團大戰(zhàn)中的正太榆遼等一系列著名戰(zhàn)役戰(zhàn)斗，給侵華日軍以沉重打擊，創(chuàng)建了晉冀魯豫抗日根據(jù)地。

他堅決執(zhí)行中共中央、中央軍委的戰(zhàn)略方針，積極組織正規(guī)軍、游擊隊和民兵相結(jié)合的游擊集團，并組建大量武裝工作隊，實行“敵進我進”，向敵占區(qū)、交通線廣泛出擊，粉碎了日偽軍的頻繁“蠶食”和殘酷“掃蕩”。與此同時，他率部多次反擊國民黨頑固派對根據(jù)地的進犯，牢牢把緊太行山這道華北抗日根據(jù)地的“南大門”，使“平遼半壁山”得以免遭敵寇的蹂躪涂炭。

劉伯承重視情報工作

劉伯承一向重視情報工作，“很注意抓‘舌頭’”。當年與日本人交戰(zhàn)時，劉伯承特別注意從日軍留下的物品中尋找蛛絲馬跡。有一次反“掃蕩”，手下一個參謀去廁所時看到了日本人用過的大便紙，拿過來一看，上面畫了一個大圓圈，寫了幾個地名，還寫了“29”這個數(shù)字。劉伯承結(jié)合當時的敵我情況，認真分析紙上信息，判斷敵人可能在29日對紙上寫的幾個地方進行合圍，便命令該地區(qū)部隊撤離。果然日軍在29日進行了“掃蕩”，結(jié)果一無所獲。

1942年的某一天，抗聯(lián)來了一位朝鮮族同志，到八路軍指揮部和大家合影，很是熱鬧了一陣。幾天后，有人報告：這位同志突然失蹤。劉伯承得知后，又結(jié)合其他信息，馬上給國民革命軍第十八集團軍副參謀長左權(quán)打電話：“我判定，他的失蹤意味著日本人馬上要大‘掃蕩’了！”有人認為劉伯承太過敏感而不以為然，但劉伯承找到專門負責保衛(wèi)八路軍指揮部的陳錫聯(lián)，找好了撤退的羊腸小道。后來的發(fā)展也再次證明了劉伯承的判斷。