一九六一年三月，中國最重要的大事是全國性的饑荒，各地餓死數以百萬計的農民。中共中央工作廣州會議的目標便在於調整農業政策。毛二月里大都在起草一份農業計劃，趕著在工作會議上提出討論。
毛要我看的那份「內部參考」是有關安徽為克服饑荒，在農業組織上所做的應變改革。安徽省委第一書記曾希聖是大躍進的狂熱支持者。到一九六一年春，安徽全省大約已有將近一千萬農民挨餓，隨後數月，上百萬人餓死，幾萬人逃荒到外地謀生。曾對大躍進幻想全部破滅，力求恢復農業生產。
這時在安徽，按社員的勞動底分承包土地，按實際產量記上分，也就是將田地分給個人耕種，田間的農活由個人負責，打下糧食分配時，還是大家分。因比，曾認為這仍是公社化式的「社會主義」。這點在無錫時，已經得到毛的同意。
一九六〇年初上海會議時，毛講話中提出，可以將農業高級合作社時候實行的田間管理農活，包產到戶的辦法，恢復起來。這新辦法實行後效果不錯，安徽的農產量上升。毛的廣州會議草案中，未曾提到責任田制或是當時中國其他地區實行的包產到戶辦法。在三月十五日，曾希聖向毛匯報了責任田的好處以後，毛表示，可以試驗，並且說：「如果搞好了，可以增產十億斤糧食，日子好過些。」曾立刻自廣州打電話到安徽省委，推廣責任田，還講，已經通天了，放手干，不要怕。
事實上，會議上很多人對這個辦法意見不一致，其中反對最激烈的是華東局第一書記何慶施（上海市長）。柯慶施對曾希聖十分不滿意，安徽省委受華東局管，曾直接通知安徽省委，沒有事先同何商量，何認為「曾目中無人，而且責任田是反公社化的手段，公社化才是社會主義方向」。
中央各領導的信念在廣州會議上仍不明顯，但個別的意識傾向則可一目了然。一九六一年二月，我第一次聽到鄧小平發言表示支持曾希聖的責任田制，他說了一句「名言」：「管他黑貓白貓，只要抓住老鼠就是好貓。」這是在青年團一次台上講的。原是黃貓黑貓，不知怎麼改成白貓黑貓了。鄧小平首要的目標是提高農產和結束饑荒。
劉少奇的發言雖沒有鄧有力生動，也逐漸表明他的態度。在廣州會議上，他傾向於支持包產到戶的辦法。
廣州會議並未解決這些分歧。領導人決定親自深入農村，調查研究，以求第一手資料，才能決定。會中討論通過毛的「農業合作社工作條例」草案，文中未提到曾的責任田制，但因是以草案方法通過，預留了往後可以加以修改的空間。會議決定五月再重新召開，屆時再做調查報告。劉少奇、周恩來、朱德和鄧小平在議程結束後便馬上下去。領導人們表面上的表現還是團結的。但在幕後，黨內意識形態分裂日異加深。全心跟隨毛主席腳步的人已經寥寥可數了。
我看完這篇消息，直覺感到曾希聖提倡的包產到戶政策會惹禍上身。表面上看來，這政策應該施行，如果將田地分給農民自耕能有效提高農業生產，中國便該實行分田制。農業是中國的命脈，現在餓殍遍野，人民得吃飽肚子才行。大部分的領導人選擇社會上義道路，因為他們相信只有社會主義能戰勝貧窮，提高中國廣大人民的生活水平和促進中國富強康樂。這也是我支持社會主義的原因。我視社會主義為手段，而不是目的。現今面臨嚴重農業危機，許多領導人相信將耕地還給農民可以提高生產，而農產量的確提高時，更是大力支持。
問題是，曾希聖的責任田制傾向於私有制，因此不是社會主義。此時共產黨內因對社會主義定義和中國福祉為何的看法上，意見分歧。對毛來說，社會主義就是社會主義。毛的最高理想是共產、公有、平等——也就是一種原始的共有制。毛也清楚農民要的是自己有田，但他說：「我們要的是社會主義，要的是公有制。現在農田生產上有困難，我們可以讓一步，但是這並不是我們的方向。」
毛堅持公社化，無視於責任田制在提高農業指標方面比公社有效。他說：「還要那句話，古人說『不到黃河心不死『，我是到了黃河不死心。」
毛的話很明顯，他之同意責任田，只不過是「暫時的退卻」，並不是同意了此後就將田地包給農民個人或家庭長期自行耕作。
一九六一年五月、六月在北京召開中共中央工作會議。百姓枯瘦如柴，面容槁枯，營養不良，水腫更形嚴重，到處冷冷清清。這個會決定進一步調整國民經濟，特別是農村工作，精簡職工和減少城鎮人口。這年總計有一千萬城市人口被遷至農村，以減輕城市負擔，並增加農村勞動力。
領導下鄉調查研究的結果並不樂觀。農村情勢非常黯淡。領導人依此更堅持他們的信念。陳雲堅持責任田制，他說：「農民已經有了怨言說：『蔣介石手裡受難，吃飯：毛澤東手裡享福，吃粥。』這說明農民很不滿意。農民分到了田，自然有了乾飯吃。」
會中又修改毛的「農業合作社工作條例」。當時許多地方已取消人民食堂，在會中正式宣布解散。一九六二年又下放一千多萬人到農村，工業、鋼產指標大幅下降。但決定仍保留人民公社。
一九六一年夏季，毛又回到廬山。這次的廬山議程準備討論工業、糧食、財貿和教育等問題，中心是調整國民經濟，建立新的平衡，才能鞏固、充實和提高工業和農業。毛還說，這次一心開會，再不讓任何人搗亂。
八月廬山會議，毛仍有有力的支持者。毛的忠實擁護者有柯慶施。此外，這時開始，林彪已經在《解放軍報》報頭上，每天刊登毛主席語錄。軍區司令員在軍中展開學習毛主席思想運動。林不斷利用各種講話的機會吹噓「毛澤東思想是馬列主義頂峰」。林又號召全國人民讀毛主席的書，聽毛主席的話，作毛主席的好戰士。
湖北省書記王任重也是支持毛的人之一。成為一個諷刺而不尋常的現象倒是一九五九年被打倒的彭德懷，這時彭到他的家鄉湖南省湘潭縣（也是毛的家鄉）調查後，認為搞責任田或包產到戶是一股歪風。在他的報告中主張「大力發展集體經濟」，保證集體經濟在全部收入中占絕對優勢。
周恩來和朱德是不敢明確提出自己的真正看法的人。他們唯毛的馬首是瞻。
廣東省委第一書記兼華南局第一書記陶鑄拿不定主意。他傾向於支持責任田，但主張只將全省農田百分之三十「借」給農民自耕。陶說：「如果這也叫資本主義，寧願要資本主義，也不要餓死人。」「你們要搞個貧窮痛苦的社會主義嗎？」
劉少奇是同意包產到戶的，說過：「工業上要退夠（指政策上的降低生產指標和減少指標。一切有利於說動農民積極性的辦法都可以。不要說那一種辦法是最好的、唯一的。農業上也要退夠，包括包產到戶，單幹。」
至於鄧小平，仍在重複「白貓黑貓，捉住老鼠就是好貓」這句名言。上海市委第一書記兼華東局第一書記柯慶施批評曾希聖搞責任田說，這是方向性錯誤。鄧小平則說：「華東局的結論下得太早了。」
毛自然不同意劉、鄧的看法，這是很明顯的。一九六〇年五月，英國的蒙哥馬利元帥訪問中國。一次會議上外交部長陳毅巧妙地說，這位元帥很善辭令，他說我很想見見你們那位在西方很出名的殘酷無情的暴君。毛聽了哈哈大笑說，很想見見這位元帥。於是二人在中南海頤年堂會見。蒙是瘦小的老頭，穿一件鮮紅襯衫。毛與他握手時說，「你知不知道，你是和一位侵略者握手？聯合國有一個決議，我們被扣上了侵略者的帽子。你同一個侵略者握手，你不在意吧？」蒙神色活躍，說：「不錯，我寫的回憶錄中，曾對閣下有這樣的評論。我問過印度總理尼赫魯，他說你最好自己去看看，毛像個和氣的老人家。今天我看見了，聯合國大約認錯了人。」隨後他們談到戰爭和戰爭的冷酷無情。毛說：「在追求自己的目標的時候，如果不是不顧一切，殘酷無情去獲取的話，就不能達到目的。問題在於你確切要知道，你要什麼，你要做什麼，決定去做什麼，要無情地剷除妨礙實現你的計劃的那些無能，又阻礙你前進的一切事物。」由此也可以看到毛對農業公社化的信念。
這次的廬山會議倒是很平靜地過去了。毛很少參加會議，神情也不開朗，找了安徽省委第一書記曾希聖談過一次話。曾將這四、五個月在安徽實行責任田的情況，向毛作了匯報。
有一天晚上，毛叫我去讀英文。在談到國內的狀況時，他說了一句使我非常吃驚的話。他說：「中國共產黨里，好人早都死完了。現在剩下的都是些行屍走肉。」
五年後，到文化大革命時，毛的行動充分證明，當時他說這句話時，是認真的，是經過深思熟慮的。我那時才知道哪些人是毛口中的「行屍走肉」。
