1939年3月下旬，八路军一一五师政治委员罗荣桓受中共中央委托，从泰(山)西地区来到沂水县王庄，向中共山东分局和山东纵队机关干部传达中共六届六中全会精神，这是他首次到达沂蒙山区。6月21日，毛泽东致电八路军总部，指出：在日军“扫荡”后，鲁南局面混乱，我应趁此机会将一一五师师部及六八六团和萧华纵队一部开赴鲁南，以巩固鲁南抗日根据地。此后，一一五师主力分三批先后进入鲁南地区。一一五师于9月1日到达大炉(今属苍山县)。当时，日本侵略军侵占了卞庄、郯城、枣庄、泗水、滕县等城镇；国民党东北军五十七军一一二师占据抱犊崮东部地区；以刘桂堂为首的大小几十股土匪和当地地主武装各霸一方，斗争局面非常复杂。面对这种形势，如何打开局面成为罗荣桓考虑的首要问题。在12月26日一一五师召开的干部会议上，罗荣桓指出：目前，我们的任务，是建立以抱犊崮山区为中心的鲁南抗日根据地，以后再向东北发展，与山东纵队活动地区连成一片。

1940年1月6日和15日，一一五师召开军队和地方干部联席会议，罗荣桓和代师长陈光分别传达了中共中央指示精神，作了《关于创建抱犊崮山区根据地》和《坚持我们的阵地》的报告。他们在报告中特别强调创建鲁南抗日根据地的重要性和有利条件，努力坚持和巩固自己的阵地；主力部队的任务不仅要搞好对敌斗争，建立政权并广泛地建立抗日民族统一战线；要积极建立和扩大抗日武装。通过这两次会议，坚定了部队和地方干部为建立鲁南抗日根据地的信心和决心。1月26日，罗荣桓指挥鲁南军民攻克了郯城，占领了郯马平原，使部队获得了大量军需品。2月间，一一五师三次夺取鲁南战略要冲白彦镇，毙伤日伪军800余人，控制了抱犊崮与天宝山之间的战略要地。至6月间，中共鲁南区参议会和鲁南专署宣告成立。9月中旬，鲁南军政委员会成立，罗荣桓任书记。

罗荣桓根据毛泽东关于“发展进步势力，争取中间势力，孤立顽固势力”的策略方针，在9月召开的一一五师师直机关、各支队主要负责人和中共鲁南区党委负责人参加的高干会议上(亦称桃峪会议)，提出“插、争、挤、打、统、反”的六字方针。插，即插入敌人后方及一切空隙地区；争，即

争取立足点，建立根据地；挤，即排挤敌伪及顽固势力，扩大进步势力；打，即打击日本侵略军和汉奸武装；统，即坚持统一战线，与国民党特别是在鲁南的东北军疏通关系，搞好团结，孤立顽固派；反，即反“扫荡”、反摩擦。他还在会议上发出“建设铁的模范党军”的号召，提出五条具体要求。会后，罗荣桓和陈光深入到基层连队，对射击、刺杀、投弹、近迫作业等进行具体指导，以提高部队的政治素质和军事技术。10月4日，罗荣桓向中央军委电告一一五师入鲁以来的工作：一一五师和中共鲁南区委经过一年的努力，开辟了根据地，坚持了对敌斗争，执行了党的抗日民族统一战线政策，主力部队与地方武装已发展到7万人。11月8日，根据中共中央的指示，罗荣桓、陈光率一一五师师部离开鲁南，转移到中共山东分局驻地鲁中区青驼寺西聂家庄(今属沂南县)。从此，山东分局、一一五师师部和山东纵队指挥部便驻在一起，为统一山东抗日根据地的领导奠定了基础。

1941年1月6日国民党制造“皖南事变”后，罗荣桓认为一一五师师部和山东分局、山东纵队靠拢后，目标太大，给养不好解决。为更好地指挥全局，3月7日，一一五师师部与山东分局机关转移到莒南县西许口，进入滨海区。本月，中央军委批准以陈光、罗荣桓、萧华、陈士榘、梁必业组成一一五师军政委员会，罗荣桓任书记。4月8日至14日，一一五师直属队第六次党代会在莒南县后寨子村召开，罗荣桓在会上作了形势报告。7月1日，山东分局和一一五师在临沭县蛟龙湾村联合召开庆祝中国共产党成立20周年大会，罗荣桓在报告中阐述了开展建设山东抗日根据地、坚持抗战、坚持抗日民族统一战线等问题。8月19日，中共中央书记处、中央军委发出《关于统一山东领导的指示》，决定：以山东分局会议为统一山东党政军民的领导机关，山东分局暂由朱瑞、罗荣桓、黎玉、陈光组成，朱瑞任书记；山东纵队归一一五师首长指挥；山东纵队与一一五师两军政委员会合组为山东军政委员会，罗荣桓、黎玉、陈光等7人为委员，罗荣桓任书记。山东分局委员会的分工是：朱瑞主持党的组织工作，罗荣桓主持军事工作，黎玉主持政府工作，陈光主持财委会工作。根据9月12日中央军委“一一五师师部与山纵靠拢后，建立集体办公制度或建立会议制度解决军政工作”的电示精神，罗荣桓率一一五师师部从临沭县蛟龙湾向沂蒙山区转移，于10月2日到达青驼寺，与山东纵队指挥部汇合。在这里，他主持召开了山东军政委员会首次会议，研究建立统一指挥问题，并部署秋季反“扫荡”工作。11月2日，日伪军5万多人对沂蒙山区进行大规模“扫荡”。11月5日，敌伪军3万余人分兵包围了山东分局、山东省战工会和一一五师领导机关驻地沂南县留田村一带。黄昏，罗荣桓在留田附近的钮家沟村召开高干会议，提出向南即向敌后突围。在他的精心指挥下，当日夜，山东党政军领导机关2000多人，没费一枪一弹，无一伤亡地通过敌军三道封锁线，经张庄、佛谢、高里转移到费县诸满一带。德国友人汉斯·希伯在《战士报》上发表《无声的战斗》一文，称赞留田突围是“神奇”的指挥。11月7日，罗荣桓率一一五师师部和朱瑞率领的山东分局机关在费县黄泥崖汇合，指挥部队打击“扫荡”的日伪军。在石岚一带伏击战中，取得毙伤日伪军300多人的胜利。继之，又指挥一一五师特务营和山东纵队二旅四团攻打绿云山日军，毙敌100多人，打死战马40多匹。12月初，罗荣桓、朱瑞到沂水县南墙峪与黎玉会合，研究山东的军事部署。尔后，他带骑兵排穿越敌占区，于12月20日到达滨海区沭水县朱仓村和师部会合。此后，山东党政军领导机关绝大部分时间驻在滨海区。

罗荣桓针对一些领导干部在思想上存在的对敌后斗争的长期性、严酷性认识不足等问题，把主要精力倾注于游击战争理论和实践的研究上面。从1942年7月至11月，连续发表了《坚持我们的边沿游击区》、《准备打破敌人紧缩包围封锁我们的根据地》、《克服在执行游击战中认识上的一些偏差》等重要论著。他总结剖析了抗日游击战争的性质和特点，论述了攻歼、伏击、打援、防守、退却、攻心等一系列军事理论问题，创造出“敌打到我这里来，我打到敌那里去”的著名“翻边战术”，在实战中取得一个又一个胜利。由于操劳过度，罗荣桓身患重病，有时不得不躺在担架上指挥作战。

1943年3月，山东纵队与一一五师合并，成立新的山东军区，罗荣桓任山东军区司令员兼政委、一一五师代师长兼政委。9月，朱瑞奉命去延安，罗荣桓任中共山东分局书记。从此，山东抗日根据地完全实现了党的一元化领导。10月9日，罗荣桓主持起草了《关于在整风中重新审查干部的指示》，对山东干部的政治状况作出总的估计，认为大部分干部是好的，坏分子只是个别的。随后，各地按照整风审干的要求，开展了坦白运动。对反省坦白的人，执行了中央“坦白从宽”、“反对逼供信”的方针，并进行了细致耐心的思想教育工作，得到了中共中央的肯定。在贯彻中央《开展根据地减租、生产和拥政爱民运动》指示中，罗荣桓和黎玉深入基层调查研究，发现并处理了“双减”中存在的问题。他在10月间召开的群众工作干部会上说：我们做群众工作，一要根据群众的需要，二要遵守群众自愿的原则。当群众还未觉悟时，就要对他们进行“谁养活谁”的教育，也就是用马克思主义关于劳动创造世界的理论教育群众、武装群众。他认真执行精兵简政，以减轻人民的负担。多次指示部队帮助群众耕种收藏，组织互助合作，发展生产，保障供给，渡过敌人对抗日根据地分割、封锁的种种困难，使军政、军民关系进一步密切，使根据地日益巩固和发展。

1944年，国际反法西斯战争节节胜利。罗荣桓抓住战机，决定春季开始向敌人发动局部进攻，并制定了总的战略部署：完全控制沂、鲁山区，扩大诸(城)日(照)莒(县)山区根据地，夺取深入解放区的孤立的日伪据点，使鲁中、鲁南、滨海战略区连成一片；向胶济铁路东段两侧地区发展，以打通和加强胶济铁路南北各战略区的联系；在胶济铁路北，彻底改变渤海区被敌封锁分割的局面，变游击区为根据地；进一步肃清胶东中心地区日伪势力，创造更有利的局面。为实现这一计划，他提出了分散的游击战争和主要方向的集中兵力作战相结合、军事攻势和政治攻势相结合的攻势原则。此后，鲁中军区部队胜利进行第三次讨伐吴化文战役；鲁南军区部队发起讨伐伪和平建国军第十军荣子恒战役；滨海部队发起讨伐李永平战役。7月1日，罗荣桓在《大众日报》上发表《学习毛泽东同志的思想》的文章指出：毛泽东思想是马列主义的思想，在民族化上又有了发展，是在一定的历史条件下产生的；它的伟大之处，就在于来自群众之中，再到群众中去，掌握了实是求是的精神。

1945年1月3日，罗荣桓在山东分局、军区直属队干部大会上作了题为《一九四四年的过去和一九四五年的到来》的报告，总结1944年所取得的成绩，提出了新一年的各项任务。3月中旬，他在莒南县后良店村召开的拥政爱民模范大会上，提倡干部战士都要当英雄、做模范。同时要求英雄和模范更要与群众打成一片，虚心向群众学习。4月23日至6月11日，中国共产党第七次全国代表大会在延安举行，罗荣桓当选为中共中央委员。7月7日，他在《大众日报》上发表《处在总反攻前夜的山东解放区》一文，指出：山东抗日根据地已有1700万人口，20万八路军和游击队，50万民兵和几百万普通的人民自卫武装，已统一组成为一支坚持抗战与建设新民主主义的雄厚势力。9月19日，中共中央在《目前任务和战略部署》的指示中，确定了“向北发展，向南防御”的战略方针。决定罗荣桓去东北工作。9月21日，罗荣桓率一一五师师部由莒南大店出发进入临沂城。在这里，他向陈毅介绍了各方面形势和部队情况，研究了堵击徐州国民党军队北上的作战方案等。于10月24日离开山东解放区首府临沂去东北。11月5日，罗荣桓一行从龙口乘船，离开山东。