抗日战争爆发后，任新四军第二支队副司令员、先遣支队司令员。1938年 4月率部向苏南挺进。 6月17日在镇江以南的韦岗伏击日军，处女战告捷，毙伤土井少佐以下二十余人。他赋诗一首：“新编第四军，先遣出江南。韦岗斩土井，处女奏凯还。”以后任新四军江南指
挥部、苏北指挥部副指挥，协助陈毅开辟江南、苏北抗日根据地。1940年10月，在前线指挥黄桥战役，以五千之众歼国民党顽固派军队一万余人。皖南事变后，任新四军第一师师长兼政委、苏中军区司令员兼政委、中共苏中区委员会书记，领导苏中军民，挫败日伪军频繁的“清乡”、“扫荡”，坚持和巩固了苏中抗日根据地。1944年3月，指挥车桥战役，歼灭日军山泽大佐以下四百余人，伪军五百余人。年底，率第一师主力南渡长江，任苏浙军区司令员兼政委、中共苏浙区委员会书记，发展苏浙抗日根据地。1945年 6月，被选为中共第七届中央候补委员。
抗战胜利后，率部回师江北，任华中军区副司令员、华中野战军司令员。 1946年 6月蒋介石发动全面内战后，提出在苏中内线歼敌的建议，经中央军委批准后，与政委谭震林指挥苏中战役，一个半月内，连打七仗，每仗都集中优势兵力各个歼灭敌人，七战七捷，鼓舞了解放区军民，取得了对美械装备的国民党军作战的经验。毛泽东亲自起草电报将其向全军通报推广。山东、华中野战军会师后任华东野战军副司令员。毛泽东来电指定他在陈毅领导下，负责战役指挥。从1946年 12月起，组织指挥宿北、鲁南、莱芜、孟良固等战役，大量歼灭国民党军，其中包括蒋介石的王牌第七十四师。在组织指挥大兵团作战中，他用兵灵活，不拘一格，被陈毅誉为“愈出愈奇，愈打愈妙”。1947年 9月，他和陈毅指挥华东野战军外线兵团，与刘(伯承)邓(小平)、陈(赓)谢(富治)大军密切配合，挺进中原。11月，陈毅赴中共中央汇报工作，他担负起独立指挥华东野战军作战的使命。1948年 4月，中央军委设想组织东南野战军渡长江南进，在南方数省执行宽大机动作战。他从战略全局考虑，提出暂缓分兵南下，集中兵力在黄淮地区打大仗的建议，并奉命至河北平山向中央当面汇报。毛泽东从善如流，采纳了他的建议，并决定由他任华东野战军司令员兼政委。经粟裕再三恳请，中央乃决定仍由陈毅担任上述职务，而由粟裕任代理司令员兼政委。随后指挥豫东战役，使中原、华东战场形势出现新的转折。 9月，组织指挥济南战役。随后提出进行淮海战役和将国民党军主力消灭在长江北岸的建议。11月起任中共淮海前线总前委成员，参与指挥淮海战役，直接指挥华东野战军作战。1949年 1月，任第三野战军副司令员，参与指挥渡江战役，组织指挥上海战役。
中华人民共和国成立后，任第三野战军暨华东军区副司令员、人民解放军副总参谋长、总参谋长。1958年在所谓反教条主义时，受到错误的批评。后来任国防部副部长，军事科学院副院长、第一政委，中共中央军委常委。他对于人民解放军的革命化、现代化、正规化建
设，对于未来反侵略战争的战略方针、作战指导和国家战备、特种兵建设等问题，进行了深入的探索和研究。1955年他被授予大将军衔。他是中共第八至第十一届中央委员，第五届全国人大常委副委员长。1984年 2月 5日在北京病逝。
他的军事论著丰富了毛泽东军事思想，其主要著作已收入《粟裕军事文选》。他还著有《粟裕战争回忆录》。
