(一)八路军山东纵队 1938年12月27日,经中共中央批准,八路军山东纵队在沂水县王庄宣布成立,统一指挥山东各抗日起义部队(不包括冀鲁边和鲁西地区)。张经武任指挥(1939年10月离职),黎玉任政委,王建安(1939年7月始)任副指挥,王彬(1940年9月离职)任参谋长,江华任政治部主任,马馥塘、冯平先后任供给部长。八路军山东纵队辖第二、三、四、五、六、十二6个支队和鲁东游击指挥部、 陇海南进支队、 鲁南人民抗日义勇队第一总队、苏鲁挺进支队、特务团、临郯独立团,共2.45万余人。1941年2月,山东纵队已发展到6.5万余人。1942年8月1日,山东纵队改为山东军区。
(二)八路军第一纵队 1939年5月4日,中共北方局根据中央书记处的决定,通知组建八路军第一纵队。7月1日,徐向前、朱瑞率一部分干部到达沂水,和山东纵队指挥机关会合。8月1日,八路军第一纵队在沂蒙地区成立,徐向前任司令员,朱瑞任政委兼政治部主任,罗舜初任参谋处长。统一指挥山东、苏北地区的八路军部队。10月19日,第一纵队司、政、供、卫机关与山东纵队司、政、供、卫机关合并。徐向前、朱瑞、张经武、黎玉合在一起办公,山东纵队番号不取消。1940年6月,徐向前去延安。第一纵队番号撤销,所属部队归山东纵队指挥。
(三)山东军政委员会 1939年8月,为统一领导山东党政军民工作,中共北方局批准成立了山东军政委员会,隶属于中共北方局,朱瑞任书记,朱瑞、徐向前、郭洪涛、罗荣桓、陈光、黎玉任委员。1941年8月,经中共中央、中央军委批准,山东纵队和一一五师两军政委员会合并为山东军政委员会,统一了山东的军事领导。罗荣桓任书记,罗荣桓、黎玉、陈光、萧华、陈士榘、罗舜初、江华任委员。1942年9月山东军政委员会撤销。
(四)八路军一一五师 1939年9月,八路军一一五师代师长陈光、政委罗荣桓率师部、随营学校、六八六团及新扩编的特务团进入鲁南抱犊崮山区,与先期到达的参谋处长王秉璋、政治部副主任黄励率领的部队会师,师部驻大炉(今苍山县境)。一一五师决定,将苏鲁人民抗日义勇队第一总队改编为一一五师苏鲁支队。10月,国民党第十集团军暂编第六师孔昭同部接受一一五师领导,朱德电委孔昭同任一一五师曲(阜)泗(水)邹(县)滕(县)费(县)五县游击司令。12月,将倾向共产党的武装和八路军陇海南进支队的运河大队合编为一一五师运河支队;将一一五师六八六团和鲁南民众抗敌自卫军合编为一一五师鲁南支队。1940年10月下旬,根据八路军总部的命令,一一五师入鲁部队进行统一整编,共编为7