庐山会议后，撤销了彭德怀在军队内的职务，但仍保留中央委员、中央政治局委员的职务。党内文件照发，中央政治局会议也照常通知他参加，不过彭德怀照例请假就是了。根据毛泽东的意见，彭德怀有什么事都是通过杨尚昆这个办公厅主任向中央反映。  
　　1959年国庆节前夕，彭德怀搬出中南海，移居吴家花园。10月21日，毛泽东找彭德怀谈话，刘少奇、周恩来[注: 周恩来（1898年3月5日－1976年1月8日），字翔宇，曾用名飞飞、伍豪、少山、冠生等，中国共产党、中华人民共和国和中国人民解放军的主要缔造者和领导人之一。]、朱德、邓小平、彭真、贺龙、陈毅等同志都到了，我也在座。毛泽东肯定了彭德怀9月9日写信要求学习和参加生产劳动的意见，说读几年书好，要学点马克思主义的哲学、政治经济学。谈话时气氛很好，谈话以后又共进午餐。彭德怀离去以后，毛泽东嘱我以后要经常去看望彭德怀，每月至少两次，主要是了解他的思想动态，帮助他联系和解决学习和生活上的一些问题。11月9日，我和彭真一起去彭德怀处，在彭那里召集高级党校党委常委会，杨献珍、艾思奇、范若愚等同志都到了。当场安排了彭德怀到党校学习的问题，并当面交代，彭德怀是毛主席批准到党校学习的，要派专人辅导他的学习，有什么问题由杨献珍同彭德怀直接联系。
　　后来，毛泽东多次提出，要彭德怀出来做点事。有一次，他对我说，可以让彭德怀当农垦部部长，要我去征求彭德怀的意见。当然，如果彭德怀同意，下一步还要做王震的工作，让王震把农垦部部长的位置让出来。WWW.LsQn.CN我考虑，那时彭德怀的情绪很不好，不可能出来工作，因而一直没有同彭德怀谈。还有一次，毛泽东指定我和陈毅、聂荣臻三个人去做彭德怀的工作，主要是说服彭德怀承认错误，有所表示。可是彭德怀心里不服，一直顶着不表态，我们三个人都认为不好开口。以后我见到毛泽东，就说你要我们三个人去做彭德怀的工作，你讲个方针才好。毛泽东看到我们有难处，笑了笑说，那就算了吧！
　　1961年9月19日，彭德怀给毛泽东写信，要求到农村去做调查研究。请求中央允许他先去湖南故乡搞三个月，了解农村情况，明年春天再去山西太行。他提出，如果允许他外出调查，行前希望见主席一面。我立即把彭德怀的信送给毛泽东，过了些日子，毛泽东批回来：“彭德怀到哪里去都可以，半年也行。”10月23日，我去彭德怀处，把毛泽东同意他下去调查的情况告诉他。25日晚，彭德怀到我的办公室，交来一份去湖南的调查提纲，并要求中央办公厅给他派一个临时秘书，随他去湖南，帮助整理调查材料。第二天，我把金石同志找来，对他说：“彭德怀最近提出要回湖南家乡看看，作些农村调查。因为庐山会议后彭原来的秘书都回军委去了，这次他下去要求中办给他派一位同志帮他整理材料，我们考虑你去比较合适。”金石有些紧张，我对他说：“彭德怀现在仍然是政治局委员，你还是要尊重他。你帮他整理材料，他要你怎么写，你就怎么写，有错误由他负责，与你无关。”