抗日战争全面爆发后,入抗日军政大学学习。1939年秋到皖南,历任新四军军部教导总队科长、江北指挥部教导大队副大队长,军政干部学校教育长、抗大第5分校教育长、华中抗大总分校教育长、新四军军部特务团团长、抗大第5分校校长等职,为新四军培养和输送了大批军政干部。在险恶的环境中,他既要负责训练学员,又要对付日伪和国民党顽固派的围攻。在一次日伪军的大“扫荡”中,谢祥军临危不乱,组织抗大5分校学员趁黑夜突围。不料,女生队在突围中走错了方向,被伪军截获。他亲率警卫连迅猛追击,一人不少地把女生队从伪军手中抢了回来。
解放战争时期,先后任华中军区第5、第9军分区司令员,华中野战军第10纵队司令员。1946年夏率部参加苏中战役(亦称苏中七战七捷),取得重大战果。随即率部参加涟水保卫战,在指挥作战中壮烈牺牲,时年32岁。