在中央政治局领导下，叶剑英同邓小平一起，为恢复中央其他老同志的工作，荐引年富力强的同志担任党和国家的领导职务，做了大量的工作，使党和国家有了一个坚强的领导核心。
叶剑英对党中央领导核心逐步形成，党和国家开始出现新的局面由衷地感到喜悦。他在《八十书怀》诗中满怀激情地写道：
八十毋劳论废兴，长征接力有来人。
导师创业垂千古，侪辈跟随愧望尘。
亿万愚公齐破立，五洲权霸共沉沦。
老夫喜作黄昏颂，满目青山夕照明。
在恢复邓小平职务的前后，叶剑英想到了更多的被林彪、“四人帮”打击和排挤的党、政、军领导干部，还有成千上万受冤枉、被诬陷的普通干部和群众。他认为，凡是过去的案子，不管是在什么情况下，什么人、什么会议定的，只要被历史证明是错了的，就一定要实事求是，有错必纠。在他和中央其他领导同志的努力下，一批原中央领导人的冤案陆续得到平反。其中有：被“四人帮”排挤长期靠边站的陈云，先后恢复了中央政治局委员、中央副主席职务；彭真从被监禁中解放出来，担任了人大常委会副委员长；薄一波等61人的所谓“叛徒集团案”得到平反；杨尚昆、罗瑞卿、胡耀邦、习仲勋等人的冤案都先后得到平反。叶剑英对他们的工作、生活十分关心，亲自找一些人谈话，征求他们的意见，鼓励他们向前看，继续为党和人民作贡献。1979年，薄一波、安子文、刘澜涛平反出狱后，到西山去看望叶剑英。叶见到他们时，满怀深情地注视良久，第一句话就说：“想不到你们受了这许多苦！”说着，禁不住掉下泪来。
对于一般干部群众的冤、假、错案，叶剑英也十分关心。许多干部群众给他写信，其中有不少是反映他们所遭受的冤屈的。叶剑英对这些来信总是亲自阅读，并批示给有关领导人或部门予以正确处理。他还亲自过问民主人士、高级知识分子的冤、假、错案，要求有关部门尽快给予平反昭雪。
1977年8月12日至18日中国共产党的第十一次全国代表大会在北京举行。华国锋代表中共中央作政治报告，叶剑英作关于的报告，邓小平致闭幕词。叶剑英关于修改党章的报告，是他亲自主持起草小组起草的，并经中央政治局全体讨论通过。他在报告中指出，新党章第一次写进了实现农业、工业、国防和科学技术现代化的目标，提出了坚持辩证唯物主义和历史唯物主义的世界观，强调了民主集中制的极端重要性，规定要充分发扬民主，决不允许任何人压制批评和打击报复，强调必须加强党的纪律。为了维护民主集中制的原则和纪律，新党章规定设立纪律检查委员会。新党章还强调必须保持和发扬群众路线、实事求是的优良传统。规定新党员一律经过一年的预备期才能转为正式党员，以保证党员的政治质量。由于历史条件的限制，新党章以及这个报告，仍然有一些“文化大革命”中的一些错误提法。8月19日，中共十一届一中全会召开，叶剑英当选为中央委员会副主席。
