1939年3月,为适应抗日战争已进入战略相持阶段的形势需要,加强对山东抗日根据地的领导,统一军事指挥,八路军总部和中共北方局向党中央提出派徐向前、朱瑞到山东工作的建议,得到了中共中央的批准。5月4日,中共中央北方局根据中央书记处的决定,发出了组建八路军第一纵队等通知。时任中央军委委员、八路军一二九师副师长的徐向前,于6月初由河北省威县南行,6月29日到达沂蒙山区沂南县的代庄,与中共山东分局、八路军山东纵队领导人郭洪涛、张经武、黎玉会合。随同徐向前、朱瑞来沂蒙的有王建安、罗舜初、谢有法、刘子超、李竹如、袁也烈、张雨帆等。第二天,徐向前和朱瑞在代庄听取郭洪涛等关于山东情况的汇报。此时,正值日本侵略军对鲁中地区实行第一次大“扫荡”。这次“扫荡”从6月1日开始,日军2万多人从津浦、陇海铁路合击沂蒙山区。驻守在莒县、蒙阴、沂水等地的国民党军队一触即溃,徐向前和朱瑞全力投入指挥反“扫荡”的斗争中。至7月中旬,反“扫荡”胜利结束。
8月1日,八路军第一纵队在沂(水)蒙(阴)地区正式成立,徐向前任司令员,朱瑞任政委,统一指挥山东、苏北境内的八路军各部队。当天,徐向前在沂水县诸葛村召开的庆祝“八一”建军节和反“扫荡”胜利大会上讲话,结合沂蒙反“扫荡”情况,介绍了冀南平原游击战的经验,强调八路军支持沂水县抗日军民的斗争,支持新建立的抗日民主政权。8月9日,山东军政委员会成立,朱瑞任书记,徐向前、罗荣桓、郭洪涛等任委员。8月23日,徐向前亲自部署山东纵队第一、三、四支队各一部,在鲁中淄河流域发起反顽战役。经5天激战,连克淄川、博山以东的峨庄、太河、朱崖等地,毙伤国民党军事委员会别动队游击第五纵队司令秦启荣部顽军600余人,缴获枪支2000余。9月中旬,中共山东一区党委第一次党代会在沂南县岸堤召开,徐向前当选出席中共第七次代表大会代表。当时,国民党苏鲁战区总司令于学忠倾向联共抗日,徐向前便前往其驻地费县上冶、薛庄一带和于学忠谈判。谈判的中心内容是抗日根据地的政权问题。于学忠不同意八路军搞政权,徐向前反驳说:“你的政权,一不给我们粮款,二不给我们枪弹,连薪饷都不给。我们没有政权,吃饭问题都解决不了,还怎么坚持抗日?”经过两个多小时的交谈,最后于学忠默认了徐向前的要求。为做好抗日统一战线工作,徐向前和国民党山东省主席沈鸿烈进行了面对面的斗争。沈鸿烈反复要求徐向前限定八路军在山东的游击队人数、划定占领地及防区。徐向前反问沈鸿烈:你们在山东的部队限额是多少?你们的防区划在什么地方?使沈无话可答。此后,沈鸿烈总是躲着不与徐向前见面。10月,山东纵队第三支队司令员杨国夫到沂南县马牧池八路军第一纵队驻地汇报工作,徐向前提出:第三支队应坚持发展平原游击战争,向小清河以北发展,建立清河区抗日根据地。11月上旬,原山东抗日军政干部学校(岸堤干校)并入八路军第一纵队随营学校,徐向前兼任校长。他在沂南县栗林村举行的该校开学典礼上,要求学员认真学习八路军的优良作风,发扬艰苦奋斗精神,为驱逐日本帝国主义出中国,为建设新中国而努力奋斗。12月11日,《大众日报》发表徐向前在鲁南干部大会上的报告提纲--《粉碎敌人的新扫荡与我们的紧急动员工作》。他分析敌人“新扫荡”的特点,提出必须广泛深入动员以及在军事、政治、统战等方面需要做好的几项工作。
1940年元旦,《大众日报》发表徐向前与该报记者煤渣的谈话--《精诚团结与开放民主》。他强调坚持、巩固和扩大抗日民族统一战线的重要性,要求国民党苏鲁当局彻底纠正反共、限共政策,清洗投降派,彻底开放民主,团结一切抗日力量,共挽危局。1月24日,徐向前、朱瑞、张经武、黎玉电示山东纵队各支队、各军区,确定2月到5月为山东纵队第三期整训期。此期间,徐向前在《山东纵队建设任务及工作》中,提出部队建设实行“九化”的方针,即主力兵团正规化、地方武装基干化、游击队组织化、自卫团普遍化、党的领导绝对化、战斗力顽强化、行动积极化、生活艰苦化、纪律严肃化。他集中精力抓部队的质量、数量和物资供应等问题,并根据实战要求,在抓好野战部队扩编的同时,普遍建立了自卫团、游击队,健全工兵、侦察、通讯和骑兵等配属单位,使部队一步步走上正规化。在抓部队军需供给时,徐向前号召大家因陋就简,办起了兵工厂、被服厂,基本解决了武器修理、弹药制造和被服问题,既保证了部队的供给,又减轻了群众的负担。
3月16日清晨,日军300多人、伪军200多人向沂南县孙祖一带进犯,妄图袭击中共山东分局和八路军第一纵队指挥机关。在徐向前指挥下,山东纵队第二支队、山东纵队特务营第九连、山东纵队第五支队交通营等,在孙祖以南九子峰伏击敌人。激战两日,击毙日军指挥官小林以下120多人,伤70余人,缴获骡马25匹、步枪30余支及大批作战物资,并乘胜攻克铜井日伪据点。战后,徐向前发表题为《孙祖战斗的检讨》的总结讲演。4月16日,于学忠致电徐向前、朱瑞:“贵部屡次袭敌,多有斩获,殊堪嘉慰。”
在山东军政委员会的领导和徐向前的努力下,山东纵队不仅在质量上有很大提高,而且数量上也有很大发展。1939年6月他入鲁时,部队为2.5万人,此时主力部队和地方基干部队已达到5.1万人(尚不包括拨给兄弟部队的3.2万人)。6月初,徐向前奉调从沂南县青驼寺启程赴延安,准备出席中共第七次全国代表大会。