大悟县夏店镇田铺洼人。儿时，曾入私塾读书一年。1930年春夏店建立了苏维埃政权，谢祥军参加了红军赤卫队，历任班长、排长、连长、营长、团长、师长。1946年6月，任华中野战军第十纵队司令员；10月，在涟水保卫战中牺牲。

    谢祥军从小就喜欢听打富济贫、惩恶扬善的侠义故事，崇拜那些仗义疏财、路见不平拔刀相助的绿林英雄，还模仿民间“皮影”戏《封神演义》中的独角神兽，做了一个皮影怪兽挂在自己的床头边，企盼着有“神人”出世，惩处人间邪恶。刚成年，他便凭着自己的力气，挑起货郎担走南闯北，耳闻目睹了红军、游击队打土豪、分田地、扶困济贫的事迹，就认定他们就是自己崇拜的英雄，利用脚夫之便，从白区购买些短缺的物资送往部队。16岁时，就毅然搁下扁担，参加了红军。他作战勇敢、智勇双全，很快就由战士成长为一名红军高级指挥员。1935年6月，任红三十二军师长，在一次战斗中，他腿负重伤，由于医药缺乏，伤口感染溃烂，生命受到威胁，军长罗炳辉和医生商量决定锯掉伤腿以保其性命；他知道后找到罗说：“我是一个战士，没有腿就不能上战场。锯腿，我不干!”又向医生苦苦哀求保住自己的腿；在他坚强的革命意志感化下，医生们千方百计寻找草药，为他洗伤口、敷烂腿，终于治好了那只伤腿。1937年秋，谢详军被送到延安抗日军政大学学习，毕业后，任新四军江北指挥部教导大队副大队长，活动在京浦铁路沿线的安徽立远、东汤池、大弓池一带。1940年初，江北指挥部与五大队合并，成立军政干部学校，谢祥军任教育长，并兼任汊涧镇警备司令。是年，国民党顽固派江苏省主席韩德勒妄图以十万之众歼灭新四军苏中部队。在恶劣的环境下，谢祥军一边负责学员的训练，一边对付日寇和国民党的围攻，这支部队有力地配合主力部队粉碎了敌人的阴谋，使日伪军闻风丧胆。

    1940年11月，陈毅率新四军江北部队北渡，苏南、江北指挥部合并，皖北、苏北两干校合并，在淮南组建抗日军政大学第五分校。陈毅任校长，谢祥军任教育长。1944年，谢调任抗日五分区特工员。1946年7月，谢祥军亲率纵队主力与12万余敌军，展开了历时45天的苏中战役，共歼敌6个旅和5个交通警察大队，俘敌官兵5．6万余人，取得了七战七捷的胜利，在华中野战军战史上留下了光辉的一页。

    1946年10月下旬，华中野战军主力组织涟水保卫战。十纵队有两个团参战，第一次狙击任务胜利结束时，谢祥军前往阵地看望干部战士，遭国民党冷枪袭击，不幸牺牲。遗体由地下党安埋在涟水附近的板桥，后移至芦浦。全国解放后，又在阜宁城西南修建了谢祥军烈士墓。