1959年因在中共中央政治局扩大会议(庐山会议)上批评“大跃进”以来的错误,与彭德怀等被错定为“反党集团”,后被撤销职务,长时期受审查。“文化大革命”中又遭打击迫害。1977年12月出任中央军委顾问。1978年在中共十一届三中全会上被增补为中央委员,并被选为中央纪律检查委员会常务书记。1980年6月正式平反。1982年后任中纪委第二书记。他坚决贯彻中共十一届三中全会制定的方针政策,晚年双目失明,仍为拨乱反正,平反冤假错案,重建和健全党的纪律检查工作,端正党风,正确评价毛泽东的历史地位和作用做了大量工作。
1955年被授予大将军衔和一级八一勋章、一级独立自由勋章、一级解放勋章。是第一届全国人大常委会委员,第五届全国政协常务委员,第一、第二届国防委员会委员。1986年12月28日在北京病逝。