在几个野战军统帅中，粟裕在抗日第一线战斗了近八年之久，是处于抗日一线最为长久的一个将领。这就弥补了他在红军时期未能遭逢机遇，出任万人以上单位军事主官独立指挥作战而带来的战役指挥经验局限。
1937年10月，长江以南新四军三个支队相继在安徽省歙县岩寺集结完毕。粟裕为第二支队副司令员，第二支队仅有1700余人，与林彪的115师近万人相差甚远。

1938年粟裕奉毛泽东之令出征江南，经过20余天的侦查，粟裕对江南敌后错综复杂的军事、政治形势和社会情况等进行了详细了解，随后率百余名精干人员在韦岗设伏，袭击日军车队，一举击毙日寇10余人，击伤数十人，击毁汽车4辆。这是江南新四军出征后的第一次胜仗，其影响与平型关大捷几乎一致，虽然说战果迥异。捷报传出后，得到了新四军总部称赞，甚至蒋介石闻讯也向新四军军部发电嘉奖。
战后不久，粟裕任第二支队司令员，实际主管二支队全盘事宜。此时，毛泽东为新四军规划了一个“三步走”战略，但新四军实际最高领导人项英不同意毛泽东的主张并做出了“全军不宜全部出动”的决定。粟裕领会了毛泽东战略的正确性，非常拥护。他率领二支队仅有的两个团，与陈毅的一支队相互呼应配合，开始了在江南丘陵、平原与水网地区实现毛泽东这一宏伟战略的征程。
 6park.com
他率领所部东征西战，捷报频传，缴获无数。重庆《新华日报》因此发表了《芜湖近郊官陡门的奇袭》一文，介绍粟裕的战斗经验。不仅如此，当粟裕1939年1月将江南敌后实战经验编成《实战经验录》一书时，延安总部还予以翻印，以推广他的经验，蒋介石的第三战区部队也专门请他前往授课。
出师仅半年时间，粟裕与陈毅两个支队便先后在侵华日军的南京大本营附近建立起了茅山、丹北等10多块游击基地，拥有40万人口，第二支队也很快发展到6000余人。不久，两个支队司令部合并，陈毅任总指挥，粟裕任副总指挥，下辖主力部队和地方武装近1.4万人。因粟裕善于战役指挥，陈毅将全盘军事指挥重任都交给了他，使其军事才能得以尽情施展，两个人开始了相得益彰的合作时期。
由于项英的盲目自信且置毛泽东的指令和陈毅、粟裕的建议于不顾，最终酿成了惨痛的“皖南事变”。包括军长叶挺、副军长项英在内的新四军军部连同9000余人的主力被蒋介石一锅端掉了。

陈毅和粟裕在蒋介石意图合围苏南之际率江南指挥部所属主力迅速渡过长江，跳出了蒋介石精心部署的重围，实现了毛泽东“向苏北发展”的战略。
在韩德勤下令进攻新四军时。粟裕采取以黄桥为轴心，诱敌深入，各个击破的战法，以少胜多，一举歼灭韩德勤部12个团及保安团共1.1万余人，取得了黄桥决战的胜利。后来粟裕兼任苏中司令员，开始独立担负一个战略区的领导和指挥重任。
随后，粟裕执行毛泽东的“独立自主的游击战”战略方针，采取“敌进我退，敌驻我扰，敌大我避，敌小我欺，敌疲我打，敌退我追”的战术，在苏中平原水网区与日寇进行了长达五年之久的游击战争。
后来统计新四军战绩，大小战斗5386次，毙伤日军官兵13541人、伪军官兵18180人，生俘日军96人、伪军11855人，缴获步枪44300支，轻重机枪1236挺、掷弹筒52个、高射机枪2挺，迫击炮26门。其中，还不包括与蒋介石军队作战时“毙伤官兵20910人、生俘36742人。”

新四军政委刘少奇奉命返回延安时对毛泽东说，在华中局和新四军工作时发现了两个人才，一个是邓子恢，第二个是新四军一师师长粟裕，他是打仗打得最多和最好的一个师长。
1944年粟裕又指挥了天目山战役，经过五个月作战，再次以少胜多，大获全胜，共歼灭蒋介石军队1.36万人，其中包括“皖南事变”主力52师。这也是继黄桥决战后中共将领进行的第二次经典歼灭战，率先实现了从游击战到正规战的转变。
接到天目山战役的捷报后，毛泽东大为高兴，对粟裕的大兵团作战才干十分赞赏，说：“粟裕同志将来可以指挥四五十万军队。”当粟裕负责华东野战军的战役指挥及代理华东野战军与第三野战军司令员，纵横驰骋华东、中原大地时，证实了毛泽东预言惊人的准确性。