毛泽东对“王、关、戚”产生不满后，王力又在8月7日接见外交部造反派姚登山等人时，发表了鼓动造反派冲击外交部、夺外交部的权的讲话（即著名的“王八七讲话”）。在这个讲话鼓动下，8月22日，外事口的造反派和北京部分红卫兵火烧英国驻华代办处，制造了一起建国以来最严重的违法涉外事件，产生了极坏的影响。
８月２6日，毛泽东做出指示：王、关、戚是破坏文化大革命的，不是好人。周恩来按照毛泽东的指示，把王力、关锋隔离起来，令他们“请假检讨”，令戚本禹停职检查。
关锋先是被关押在钓鱼台２号楼。1967年10月，关锋被押送到北京西山，在一座别墅里继续软禁，由北京卫戍区看管。1968年1月，关锋被关押进秦城监狱。不久，关锋被开除党籍。
【晚年生活】
党的十一届三中全会后，中央在对林彪、“四人帮”两个反革命集团案重新进行审理时，对关锋的问题也进行了审理。1982年1月，关锋被释放。考虑到当时各方面的情况，中央决定对关锋免予起诉，维持原来的开除党籍的决定不变。
关锋被放出来后，一直住在《红旗》杂志社（现在的《求是》杂志社）的宿舍里，与妻子、孩子共同生活。
晚年的关锋又拿起笔来，开始了他一生所爱好的写作。对于“文化大革命”的往事，他不愿意再回首。他说，对于“文化大革命”的那段历史，他奉行“四不原则”，即“不看、不想、不谈、不写”。对那些要访问他的人，他都婉言谢绝。即使和熟悉的人，凡有谈到“文化大革命”的事情时，他都回避不谈。
晚年的关锋，生活和心理都平静了下来。他说，自己晚年只有三大爱好：看古书、看电视、练气功，其他什么事情都不想了。穿着还是老一套：戴个干部帽，穿着中山装，不抽烟，不喝酒，每天三顿平常的饭菜，接着就是埋头于研究老子、庄子、孔子。他的兴趣很广泛，甲骨文、哲学史、电脑，都懂一些。每天一早，人们会在公园里的练功人群中看到关锋的身影。
