由原红28军政委高敬亭收集散剩人员在大别山开展了艰苦卓绝的斗争
一九三八年初改编为新四军四支队。
一九三八年三月开赴皖中抗日前线。
同年九月四支队会合了刘冲带领的东北抗日挺进团和张恺帆、冯文华带领的巢县抗日游击大队。
十月开辟了淮南抗日根据地，动员高敬亭东进，组建了江北游击纵队。
一九三九年五月，成立新四军江北指挥部，副军长张云逸兼指挥。
六月二十四日，高敬亭在肥东青龙厂被错杀。
同年七月，四支队分设四、五两个支队。
四支队由徐海东任司令，戴季英任政委，张树才任政治部主任。下有七、九、十四、三个团，活动在定远县的藕塘地区。
五支队由原四支队八团、东北军人组成的挺进团和第三游击纵队组成。罗炳辉任司令，郭述申任政委。下有八、十、十五、三个团，活动在半塔集一带。（陈庆先为八团政委）
另有江北游击总队，由孙仲德任司令，黄岩任政委。下有三个大队，活动在无为、肥东等地。
一九三九年八月，刘少奇化名胡服到江北指挥部，扩军、建立根据地。
一九四o年一月，成立路东、路西两地委。
一九四o年三月，创立淮南抗日根据地（新四军二师）
一九四一年二月，改编为新四军二师（见照片：1942年，陈毅代军长在淮南与第二、第四师部分干部合影。左起：张树才，新四军第二师四旅政治部主任、刘顺元，新四军淮南津浦路东联防司令部政治委员、方毅，新四军津浦路东联防办事处主任、张爱萍新四军苏北军区司令员，后任新四军四师师长、张云逸，新四军第二师师长、陈毅，新四军代军长、宋文，新四军第二师五旅14团团长、罗炳辉，新四军第二师副师长、杨梅生，新四军淮南津浦路东联防司令部司令员、龙潜，新四军第二师锄奸部部长、周骏鸣，新四军第二师参谋长）。 四旅由四支队改编，辖十、十一、十二团；
五旅由五支队改编，辖十三、十四、十五团；
六旅由江北游击纵队改编，辖十六、十七、十八团；
路西联防司令部，辖独立1-5团；司令郑抱真、政委谭光廷，参谋长李国厚，年底陈庆先任副司令。
路东联防司令部，辖独立3、4团。
一九四三年二月实行军地一元化，成立淮南区党委、淮南行政公署、淮南军区。
谭震林为区党委书记、二师和军区政委；
刘顺元为区党委副书记、
方毅为行署主任；
罗炳辉为二师师长兼军区司令；
韩振纪任参谋长；詹化雨任副参谋长；
肖望东任政治部主任；余立金任副主任。
下属路西、路东两个地委、两个公署、两个军分区分别由五旅和六旅兼任。
路东军分区司令由五旅旅长成钧兼任，地委书记和军分区政委 由五旅政委赵启民兼任，公署专员汪道涵。
路西地委书记、军分区司令、政委由六旅旅长谭希林兼任，公署专员郑抱真。
同年九月六旅建制撤销，四旅兼路东，五旅兼路西。
一九四四年十二月，五旅准备渡江南进，重建六旅并兼路西军分区。旅长兼司令陈庆先；政委黄岩；副司令兼参谋长饶守坤；政治部主任汪少川。
一九四五年八月形势急剧转折，为迫使日寇投降，接受日伪占领地，路东部队组成淮南独立旅。旅长罗占云，政委李世炎，副旅长兼参谋长谭知耕，政治部主任王敬群。 四旅向滁县、全椒进击；
五旅向蚌埠、进击；
六旅向淮南铁路沿线进击；
独立旅向长江北岸进击。
进击取得了重大胜利。在国民党不断进犯下，党中央九月十九日决定“向北发展，向南防御”。山东主力调赴东北，新四军主力调赴山东。二师师部和四旅、五旅于十月由罗炳辉师长率领，北上鲁南，与四师九旅合编为第二纵队，司令员罗炳辉，副司令员韦国清，参谋长詹化雨。在津浦铁路中段作战。年底，罗炳辉病逝。
主力北上后淮南地区重新组建。一九四五年十二月，周骏鸣任军区司令，肖望东任区党委书记兼政委，梁从学任副司令兼参谋长，余立金任政治部主任，朱云廉任副参谋长，胡弼亮任供给部长，阮汉清任卫生部长。下辖：六旅、独立旅和华中第三（路东）、第四（路西）两个军分区。
一九四六年一月津浦前线野战军第二纵队改称山东野战军第二纵队。司令员韦国清，政委赵启民，参谋长詹化雨，政治部旅途邓逸凡。 六月全面内战爆发。七月，为反击国民党对路东地区的进攻五旅回师淮南组成新二师，师长周骏鸣，政委肖望东，副师长成钧，副政委赵启民，副师长兼参谋长梁从学，副参谋长朱云谦，政治部主任余立金，下辖五旅、六旅、独立旅、特务营和路东、路西两个军分区共3万人。七月底奉华中军区电示，除留少数部队外，分别转到苏中、淮宝地区作战。
