抗日战争爆发后，刘伯承任八路军第129师师长，和政治委员邓小平一起，率部奋战在太行山上。面对不可一世的日本侵略军，他经常用“勇是男儿头上的桂冠”、“无角绵羊受欺压，有蛰的黄蜂不可侮”等话语来激发将士们的对敌斗争信心。
他指挥部队先后进行了夜袭阳明堡、设伏七亘村以及长生口、神头岭、响堂铺、晋东南反“九路围攻”、冀南反十一路“扫荡”、百团大战中的正太榆辽等一系列著名战役战斗，给侵华日军以沉重打击，创建了晋冀鲁豫抗日根据地。
他坚决执行中共中央、中央军委的战略方针，积极组织正规军、游击队和民兵相结合的游击集团，并组建大量武装工作队，实行“敌进我进”，向敌占区、交通线广泛出击，粉碎了日伪军的频繁“蚕食”和残酷“扫荡”。与此同时，他率部多次反击国民党顽固派对根据地的进犯，牢牢把紧太行山这道华北抗日根据地的“南大门”，使“平辽半壁山”得以免遭敌寇的蹂躏涂炭。
刘伯承重视情报工作
刘伯承一向重视情报工作，“很注意抓‘舌头’”。当年与日本人交战时，刘伯承特别注意从日军留下的物品中寻找蛛丝马迹。有一次反“扫荡”，手下一个参谋去厕所时看到了日本人用过的大便纸，拿过来一看，上面画了一个大圆圈，写了几个地名，还写了“29”这个数字。刘伯承结合当时的敌我情况，认真分析纸上信息，判断敌人可能在29日对纸上写的几个地方进行合围，便命令该地区部队撤离。果然日军在29日进行了“扫荡”，结果一无所获。
1942年的某一天，抗联来了一位朝鲜族同志，到八路军指挥部和大家合影，很是热闹了一阵。几天后，有人报告：这位同志突然失踪。刘伯承得知后，又结合其他信息，马上给国民革命军第十八集团军副参谋长左权打电话：“我判定，他的失踪意味着日本人马上要大‘扫荡’了!”有人认为刘伯承太过敏感而不以为然，但刘伯承找到专门负责保卫八路军指挥部的陈锡联，找好了撤退的羊肠小道。后来的发展也再次证明了刘伯承的判断。
