1945年9月19日，中共中央根据抗日战争胜利后的新形势，作出《目前任务和战略部署》的指示，制定了“向北发展，向南防御”的战略方针，决定罗荣桓率山东数万兵力急进东北，新四军江南主力北撤，一部分进入山东。9月23日，中共中央决定陈毅、饶漱石到山东工作。时任中央军委委员、新四军军长的陈毅，9月26日在由延安返回华中途中接到中央“取捷径直到山东”的电令，10月4日到达峄县。在向山东军区八师传达“七大”精神和中央的战略方针后，当天下午乘车抵达山东解放区首府临沂城。罗荣桓向陈毅介绍了当时山东的形势及部队情况，研究了堵击徐州国民党军队北上的作战方案。根据10月12日中央军委“华东目前的中心任务除调兵东北外，是切断津浦路，阻击蒋军北上，并求歼其一部”的电示，10月15日，津浦前线指挥部成立，陈毅、黎玉赴鲁南统一指挥津浦前线部队，展开了津浦路战役(此役10月18日开始，12月27日结束，共歼、俘日伪军13000余人，迫使国民党军队2000人起义、6000人放下武器)。10月20日，中央决定陈毅兼任山东军区司令员、山东分局副书记。10月25日，北移山东的华中局和山东分局在临沂合并组成中共华东中央局，统一领导华中和山东的全部工作，饶漱石任书记，陈毅、黎玉任副书记。12月底，陈毅由津浦前线返回临沂城。

1946年1月1日，山东省各机关在临沂城举行2万余人的集会，庆祝津浦路大捷。陈毅在致词中，提出了要适应新的斗争形势，继续提高军事技术；加强团结、拥政爱民；动员一切力量支援前线、保卫斗争果实、争取全国和平三大中心任务。5日，山东大学在临沂举行隆重的开学典礼，陈毅和黎玉出席并讲话：要求山东大学要从实际出发因陋就简办学，把青年学生培养成为政治的、军事的、经济的、文化的各方面人才，去为人民服务。7日，中央军委决定新四军军部与山东军区合并，统一指挥山东和华中部队，陈毅任新四军军长兼山东军区司令员。9日，国民党新编第六路军总司令郝鹏举在中共政治、军事压力下，率所部2万余人在台儿庄附近的马兰屯宣布起义，并向全国发出反内战通电。起义后，该部被改编为华中民主联军，郝鹏举任司令员，新四军联络部长朱克靖任政委。当郝鹏举邀请陈毅为其部队作思想教育工作后，陈毅只带参谋与几个警卫员到郝部驻地莒县城东张家围子、店子集及城南于家庄一带，协助该部做好整编。30日，北平军调部徐州执行小组美方代表黑里斯上校、国民党代表李树正、中共代表王世英飞抵临沂，会晤陈毅。陈毅向执行小组提交了国民党违约的确实材料，并就有关受降、惩治汉奸等问题进行了商讨。

2月2日，北平军调部济南执行小组美方代表雷克上校、国民党代表?叙五、中共代表陈叔亮及随员10多人飞抵临沂，与陈毅等专谈执行和字第二号命令等问题。在两天的会晤中，陈毅的谈话内容广泛。对于受降问题，他表示了极大的不平和愤慨：“剥夺一支战胜军的受降权，这是对我们军队的极大侮辱。我们甚至派一个代表参加受降典礼的资格都没有，我无法向我部下和战士们解释。这不是武器，而是正义与军队的荣誉。我们不想要那几支破枪，你打我七八年，你至少要向我鞠一个躬!我不能不愤慨，我不能不抗议!”(引自李普《在临沂会见陈毅将军》)10日，陈毅和徐州执行小组美方代表黑里斯、国民党代表谢慕松、中共代表王世英会晤，继续商谈停战与恢复交通等问题。11日，华东局、新四军兼山东军区在临沂文庙召开各区党委、各军区、各纵队领导干部会议。陈毅在会上传达中共中央《关于目前形势和任务的指示》，提出练兵、减租、生产是当前解放区的中心任务。19日，美国海军陆战队第六师师长豪威尔少将及随员由青岛飞抵临沂。在会晤中，他对美国海军陆战队第六师在青岛制止伪军外出抢掠、对杜鲁门总统对中国政策的声明、对马歇尔元帅对中国停战的努力表示感谢。24日，在同济南执行小组雷克、国民党代表?叙五交谈时，陈毅对高密伪军赵保原部不断出击、骚扰解放区提出严正看法。雷克等当即表示前往考察。

3月1日，陈毅和黎玉乘济南执行小组的专机飞抵济南，会晤将于翌日抵济的马歇尔、张治中、周恩来。之后，陈毅又随三人赴徐州，商谈苏北、淮阴地区顾祝同部与粟裕部摩擦问题，于5日回到临沂。17日，陈毅、张云逸、黎玉、舒同致电中共中央，报告山0东部队整编复员方案。方案称：山东现有军队官兵29万人，其中主力15万，机关后勤医院9.8万，地方县区武装约5万。若和平局势出现，拟保存精锐武装15万人，其余逐步复员就业。31日，山东军区司令部于本年初在临沂县梨行村举办的军官训练团(张云逸任军训团长)举行毕业典礼，陈毅出席并致词，要求大家站稳和平民主立场，做好自己的本职工作。

4月初，陈毅在临沂召开反奸诉苦工作会议。他在听取汇报后指出：山东以反奸诉苦、减租减息为中心的群众运动开展得比较好，取得了很大成绩，但要注意工作中存在的问题。党的政策当前是反奸诉苦、减租减息，而不是土地改革。如何进行土地改革，要等中央的指示。12日，闻叶挺等人于8日在山西省黑茶山殉难消息，作《哭叶军长希夷同志》长诗。19日，驻临沂党、政、军领导机关及临沂各界人士万余人，在大众剧场举行“四·八”烈士追悼大会，陈毅主祭。他号召全体军民，继承叶挺、 王若飞、 秦邦宪、邓发等烈士遗志，努力工作，为争取和平民主事业的彻底胜利而奋斗。并为“四·八”烈士写了挽联：“为千万世开太平幸福，看先烈被难全国哀悼将化身亿万完成中国新历史；让反动派作最后挣扎，想黑暗专政遍体鳞伤必每况愈下走向暴君断头台。”21日，山东省参议会参议长范明枢由鲁中地区来临沂。在山东省党政军各机关举行的欢迎会上，陈毅到会致词：“范老浩然正气，他以八十二岁的高龄加入中国共产党，是党的政策的正确。”29日，陈毅在新四军兼山东军区直属队干部会议上作检查纪律的报告，要求各级主官及党支部，认真进行检查，整顿军容军纪，建立健全部队正规化的纪律和内部生活秩序。

5月中旬至6月初，中共华东中央局在临沂召开地委书记、军分区司令员以上干部会议，认真学习中央5月4日发出的《关于清算减租及土地问题的指示》(简称“五四”指示)。陈毅在会上作了《如何正确执行中央五四指示》的长篇总结发言。对“五四”指示如何正确理解和掌握、山东目前农民运动的估计、全党团结起来，实现耕者有其田3个问题，作了深刻的阐述和分析。强调要正确执行党的政策，把地主阶级首先是大地主、大恶霸、大汉奸的土地拿过来，交给无地或少地农民。他还在会上作了《战争与和平问题》的报告，号召整个华东部队，立即开展练兵运动，整顿部队纪律，进一步提高战斗力，随时准备迎击国民党军队的进犯。

6月6日，陈毅向南京军事执行小组及北平军事调处执行部提出照会。指出：国民党军队自停战以来，向华东解放区进攻千余次，占领城镇300多个。要求国民党立即停止向华东解放区进攻，退出侵占我方的地区，并解散枣庄伪军王继美部。21日，新四军第二副军长兼山东军区第二副司令员罗炳辉，由峄县返临沂途中突患脑溢血在兰陵逝世。23日，临沂各界人士沉痛举行罗炳辉安葬典礼。陈毅高度评价了罗炳辉的一生，号召全体将士：“勇敢地站在自己的岗位上，去继承死者的未竟事业”。26日，陈毅主持在临沂召开区党委、军区和野战军纵队领导干部会议，传达了本月22日中央关于新四军主力南下配合苏北各地作战的指示精神，分析了全国形势和山东的敌情，确定了各军区和各纵队的任务。会后，陈毅亲赴陇海铁路东段白塔埠郝鹏举驻地，希望郝坚持走人民的道路。他对在郝部工作的同志说：“这里的具体情况随时都有剧变的可能，你们应加倍警惕……你们在这里工作，也是一条战线。和其他战线一样，牺牲在所难免，但也是光荣的。”

7月间，陈毅离开临沂，继而赴华中地区指挥作战，于12月下旬返回临沂。这时，新四军兼山东军区等机关已转移到沂河东岸的前河湾村。

1947年1月2日，陈毅、粟裕等组织指挥发起鲁南战役。战役历时18天，歼敌5.3万人。陈毅高兴地写了《鲁南大捷》诗。23日，华东军区和华东野战军成立，陈毅任华东军区司令员、华东野战军司令员兼政委，并担任华野前委书记。1月底，陈毅在前河湾村召开了华野前委扩大会议，作了《一面打仗一面建设》的重要报告。号召全军加强军队内部及军政、军民团结，牢固树立整体观念，统一意志，统一行动，统一组织，统一制度。同时强调加强党的领导，加强思想政治工作，实行以战养战，学习新知识、新技术，使全军能掌握各种新武器，能进行更为复杂、更大规模的会战。

2月6日，陈毅命令华野部队向叛变并配合国民党军队进攻的郝鹏举部进行讨伐。至次日黄昏，歼灭郝部6000余人，活捉了郝鹏举。13日，应郝的请求，陈毅在前河湾村赐见了他。令其退时，作《示郝鹏举诗》。

2月15日，华东野战军为集中兵力于北线歼敌，主动撤离临沂城，陈、粟挥师进入沂蒙山区，于2月20日发起莱芜战役，歼敌5.6万人；4月22日发起泰（安）蒙（阴）战役，歼敌近2万人；5月13日发起孟良崮战役，歼敌3.2余万人。陈毅写下了著名的《孟良崮战役》诗。

孟良崮战役胜利结束后，华野前委于5月28日至6月2日在沂水县坡庄召开团以上干部会议，对孟良崮战役进行总结。陈毅作了关于山东战局和军事问题的报告，强调要坚决执行中央军委关于运动战、歼灭战的方针，提高胜利信心，集中兵力在山东战场分批歼敌主力，彻底粉碎国民党军队的重点进攻，为转入反攻创造条件。6月30日，刘邓大军渡过黄河，南下开辟大别山根据地。根据中央的部署，华东野战军分为内线兵团(又称东线兵团)和外线兵团(又称西线兵团)。陈毅、粟裕率华野第一、三、四、六、八、十纵队和特纵组成的外线兵团于8月间挺进鲁西南，离开了沂蒙。9月7日，陈毅等发起鲁西南沙土集战役，全歼国民党整编第五十九师9000多人。9月26日，陈毅、粟裕率部越过陇海铁路南进，离开了山东。