庐山会议后，撤销了彭德怀在军队内的职务，但仍保留中央委员、中央政治局委员的职务。党内文件照发，中央政治局会议也照常通知他参加，不过彭德怀照例请假。后来，毛泽东多次提出，要彭德怀出来做点事。可以让彭德怀当农垦部部长，如果彭德怀同意，下一步还要做王震的工作，让王震把农垦部部长的位置让出来。毛泽东看到有难处，笑了笑说，那就算了吧！1961年9月19日，彭德怀给毛泽东写信，要求到农村去做调查研究，请求中央允许他先去湖南故乡搞三个月，了解农村情况，明年春天再去山西太行。他提出，如果允许他外出调查，行前希望见主席一面。过了些日子，毛泽东批回来：“彭德怀到哪里去都可以。半年也行。”一个多月以后，彭德怀从华国锋那里得知中央准备召开一次由中央局、省、地、县委和大的厂矿企业一级负责人参加的扩大的中央工作会议，他认为这个会议主要是总结1958年“大跃进”以来的经验教训，十分重要，决定立即结束湖南调查返回北京。这件事，事前经过毛泽东批准，事后又向毛泽东作了报告，从工作程序和组织原则上讲都是无可指责的。但是，1962年1月27日，刘少奇在大会上讲话，说：“彭德怀的错误不只是写了那封信，一个政治局委员向中央主席写信，即使信中有些意见是不对的，也并不算犯错误。”“庐山会议之所以要展开反对彭德怀同志的反党集团的斗争，是由于长期以来彭德怀同志在党内有一个小集团。他参加了高岗、饶漱石反党集团。”“更主要的不是高岗利用彭德怀，而是彭德怀利用高岗，他们两个人都有国际背景，他们的反党活动，同某些外国人在中国搞颠覆活动有关”。因而，“所有的人都可以平反，唯彭德怀同志不能平反”。彭德怀对此非常气愤，立即打电话给我说：“请转报主席和刘少奇，郑重声明没有此事。”事后，彭德怀还向人表示，看了刘少奇的讲话，很不舒服。书读不下去，觉也睡不好。