伍修权青少年时期,在陈潭秋、董必武的引导下走上革命道路。1923年冬,经陈潭秋介绍加入社会主义青年团。1925年10月,由党派赴莫斯科中山大学学习,系统地学习了马克思主义理论。1927年9月,进入莫斯科步兵学校学习。1929年到苏联远东边疆保卫局工作,1930年转为苏联共产党(布)候补党员。1931年5月,在中国革命的困难时期,他几经努力,不畏艰险,毅然回到祖国,投入艰苦的武装斗争。回国后即转为中国共产党党员。
到中央苏区后,伍修权先后担任闽粤赣军区司令部参谋,瑞金红军学校第一期连指导员、第二期政治营教导员、第三期军事团教育主任,军委模范团政委,军委直属第三师政委,福建军区汀(州)连(城)分区司令员兼政委等职务。其间,参与编写了我军早期的军事教材,编译了苏军战斗条令,参加了第三、四次反“围剿”。在芦丰战斗中,英勇作战,身负重伤。1933年秋,任共产国际派驻中共中央军事顾问的翻译,参加了第五次反“围剿”。1934年10月,参加二万五千里长征。1935年1月,列席遵义会议。在与“左”倾错误路线的斗争中,始终旗帜鲜明地拥护以毛泽东为代表的正确路线。
遵义会议后,伍修权任红三军团副参谋长,参与组织抢渡金沙江、吴起镇、直罗镇等战役战斗。过草地时,提出了战胜敌人骑兵的有效战术。在红军陕甘支队期间,遵照毛主席的指示,起草了发布全军的政治训令。1936年4月,任红十五军团第七十三师参谋长,参加了东征战斗。1937年2月,任陕甘宁边区政府秘书长,负责边区政府日常工作。
抗日战争爆发后,1938年2月,伍修权任八路军驻兰州办事处处长。他利用其公开合法的身份,帮助指导党的地下组织,培训干部,发展党员,扩大组织;作为沟通延安和苏联联系的主要通道,接收和转运了苏联援助的及西北地区支援的大量抗战物资;接送了周恩来、王稼祥、任弼时等党的主要领导和大批革命家,使办事处成为我党在西北地区的一处“战斗指挥所”和“革命接待站”。1941年7月,伍修权返回延安,担任中央军委一局局长。其间,在叶剑英的领导下,参加粉碎国民党顽固派发动的第三次反共高潮的斗争,主持研究制定了用政治手段粉碎敌人军事进攻的方案。1945年参与起草了朱德在“七大”的军事工作报告。同年8月,任总参谋部作战部副部长。
抗日战争胜利后,中央派伍修权赴东北工作,历任中共中央东北局委员,东北军区司令部参谋长,东北民主联军第二参谋长等职。1946年4月,任军调处执行部长春分部我方负责人,同国民党及美方代表进行了针锋相对的斗争,有力地配合了党的军事、政治斗争。1947年后任东北军区参谋长兼军工部政委。在此期间,他还担任东北军区军政学校校长,参与筹建了我军第一所航空学校和第一所海军学校,为我军海、空军的创建作出了重要贡献。
新中国成立后,1950-1958年,伍修权先后担