此后不久，他奉命由湖北进京，出任中国人民解放军总军械部部长，随后，在党的“八大”上，他还当选为中央委员。职位高了，权力大了，但王树声却时时、处处、事事越发谦虚谨慎、兢兢业业了。
赴京上任之初，组织上决定给他这位新任总军械部长修建一幢住房。按照当时的有关规定，王树声的房于标准和设施配备完全可以搞得讲究一些，但他坚决不同意这样做。他要求要把房子盖成一般的平房，而且不要独门院落，更不要森严的警卫。对于区内的陈设，他也要求只备必需的日常家具即可。
一位大名鼎鼎的大将军的“官邸”居然简朴到了这种程度，常使来访的亲朋好友感到不可理解。但王树声对此却感到心安理得。
60年代初，随着总军械部建制的撤销，王树声的住房成了其他单位的属地，有关部门为了方便他的工作和生活，决定另选地点为他建造新居。
第一次，有关部门为他选择的地点是西城护城河畔的一座古庙宇，这里环境相当幽雅，王树声看后感到非常满意。但当他听说这里原是某自治区的驻京办事处时，就摇起了头，连说：“不妥，不妥，这有违我们党的民族宗教政策，还是麻烦你们重新选择一个地点吧！”
几年以后，有关部门又在东城为他找到了一个旧院落，独门大院，相当理想，但当王树声得知这里原是一个民主党派的机关，而工作人员都被红卫兵赶跑了时，又连连摇起了头：“这是违反党的统一战线政策的，我看早晚还是要把人家请回来的！”
不久，有关部门又在五渊潭附近为他选择了一处环境幽雅、风景如画的宅基地，王树声看后很满意，但当他注意到为自己建房要迁走几户老百姓的民房时，还是摇起了头：“我看这件事还是算了吧！就不要因为为我建房而把老百姓赶走了！”
就这样，王树声大将在他进京时修建的那座住房里，一住就是18年，直到他长辞人世。
