胡耀邦的女兒滿妹回憶說,父親下台後,許多老朋友、老同事、老部下想到家裡來看望,他一一婉言謝絕了,怕連累了人家。「十幾個月里,他足不出戶,終日不語……除了讀書思考,總是長久地沉默著,獨對晨曦和落日。」
中共前總書記胡耀邦最後一任政治秘書劉崇文在2009年第9期《炎黃春秋》撰文《胡耀邦逝世前半年的心態》披露,生活會後,他曾同夫人李昭去看望過鄧小平一次,談了15分鐘左右,鄧很冷淡。在與劉崇文的日常交談中,他儘量迴避提到鄧小平和陳雲,萬不得已時也從不直呼他們的名字,而是用摸右邊耳朵代表指小平,摸左邊耳朵代表指陳雲,可見其之噤若寒蟬。此文中披露了劉的保密記錄。