1937年 2月回延安后任抗日军政大学教育长、副校长,主持抗大工作。 1938年在毛泽东指导下写成《抗日军队的政治工作》一书,向全国介绍人民军队的政治工作经验。 1939年 7月率抗大总校和延安其他学校数千名教学员工到华北敌后办学,途经陕西、山西、河北三省三十个县,行程三千里,通过同蒲、正太两条铁路封锁线,人称小长征。 1940年 5月任八路军野战政治部主任,转战太行山区,参与了百团大战的指挥和多次反“扫荡”。在此期间,他总结抗日游击战争政治工作的经验,撰写了《目前政治工作建设上的一些问题》等多篇著作,为人民军队政治工作建设做出贡献。 1943年回延安人中央党校学习。 1945年 6月被选为中共第七届中央候补委员。
抗日战争胜利后,任北平军事调处执行部中共代表团参谋长,协助叶剑英同国民党方面和美国方面的代表进行谈判。解放战争中,历任中共晋察冀中央局副书记、晋察冀军区副政委兼政治部主任、晋察冀野战军政委、华北军区政治部副主任兼第二兵团(后改为第十九兵团)政委,参与指挥正太、石家庄战役。在平津战役中与杨得志等率部在新保安围歼国民党第三十五军,对促成北平的和平解放起了重要作用。1949年春参与指挥太原战役。
1949年 6月,负责筹建公安部。中华人民共和国成立后任公安部部长、政治法律委员会副主任、公安军司令员兼政委,开创国家的公安和国家安全事业,在十年内形成国家良好的社会治安秩序。 1955年被授予大将军衔。 1959年 4月任国务院副总理。 9月任中共中央军委秘书长、人民解放军总参谋长、国防部副部长。 1961年 11月兼任国防工业办公室主任。他参与组织战备,指挥海防和边防作战,组织领导尖端武器及常规武器的研制和生产。 1964年和贺龙等领导全军性的练兵和比武,取得很大成绩。他坚持军事和政治的辩证统一,提倡学习马列主义、毛泽东思想要联系实际,反对把学习毛泽东思想庸俗化。1965年底被林彪等人诬陷,受到错误批判,被迫跳楼自杀,经历了第三次大难不死、“文化大革命”中受残酷迫害,左腿致残。1977年复任中央军委秘书长,协助邓小平领导军队的整顿,积极参加和领导“实践是检验真理的标准”问题的讨论,提倡恢复和发扬实事求是的思想路线,为中共十一届三中全会的召开准备条件。他是中共第八届中央委员和中央书记处书记,第十一届中央委员。1978年 7月出国治腿, 8月 3日不幸逝世。