1939年5月，中共中央和八路军总部决定 组建八路军第一纵队，由徐向前任司令员、 朱瑞任政委，统一指挥山东、苏北的八路军 各部队。6月29日，徐向前与朱瑞率部到达沂蒙山区的沂南县岱庄，与山东分局和山东纵队指挥机关会合。8月1日，正式成立八路军第一纵队，成立了以朱瑞为书记的山东军政 委员会，徐向前为委员之一。同月，针对国民党顽固派制造摩擦和军事挑衅，指挥了在 淄河流域的反顽战役，击溃了制造“雪野事件”“太河惨案”的国民党顽固派秦启荣部。11 月 9 日，八路军第一纵队随营学校到达岸堤，与原山东抗日军政干校合并，徐向前兼任校长。同日，在岸堤举行新学期开学典礼，徐向前、朱瑞到会讲话。徐向前到山东，一开始就十分重视巩固与扩大抗日根据地，指导各根据地和游击区趁日军“扫荡”后国民党政权垮台之际建立 党所领导的抗日民主政府。到1940年上半年，全山东已逐步建立起1个行政主任公署、14个专署、90个县级抗日民主政府。

  徐向前十分重视共产党领导的山东武装建设，亲自领导了1939年8月开始的整军。 1940年3月，指挥孙祖战斗，毙伤俘敌200余人。徐向前指示各部队注重扩大军队数量，各地要普遍建立武装自卫团、游击队，同时要根据情况，将自卫团、游击队升级，增加新的军队建制。到1940年6月徐向前离鲁时，八路军山东纵队由1939年的2.5万人发展 到5.1万人；第一一五师在1940年初是5.8人，到9月发展到7万人。徐向前到沂蒙时，正值日本侵略军纠集2万人对鲁中区进行第一次大“扫荡”，他十分注意和研究敌人“扫荡”的新特点，思考克 敌制胜的对策，在他的指挥下，成功粉碎日军的“扫荡”。1940年6月初，中共中央通知 徐向前回延安，参加中国共产党第七次代表大会的筹备工作。7日，他带一个警卫排踏上奔赴延安的路，从此离开沂蒙大地。