杭州藝專教師郊遊合影，林風眠夫婦與女兒（前排左一至左三）、潘天壽（前排左四）
怕連累他人親手毀畫
1966年，文化大革命開始了！緊接著，林風眠20多年的摯交傅雷夫婦在家中雙雙自盡。得到消息後，林風眠不敢相信，派學生去傅家證實。林風眠預感自己在劫難逃，他決定毀掉自己幾十年來所有的畫，以絕後患。
這是中國美術史上多麼諷刺而殘酷的一幕：畫家關緊門窗，燒畫的煙把他的臉熏得烏黑。他怕煙囪冒煙被人發現，又改了辦法，把畫撕碎，泡成紙漿，然後從馬桶衝下去。據義女馮葉回憶，林風眠的臉堅毅決絕，一反平時的和藹可親，幫他毀畫的學生捨不得撕碎其中幾幅精品，林風眠毫不猶豫地說：「我不要連累任何人，我不要留下任何一張可以作為證據的作品，我要親手毀了它，我還會再畫……」
拒不「認罪」監獄慘遭酷刑
畫還沒毀完，抄家的紅衛兵就到了，櫥櫃都被貼上封條，林風眠和上海其他知名畫家都被送到上海美術館進行政治學習，接受審查。1968年，剛剛從美術館放回家住了幾天的林風眠被公安人員帶走。直到預審，他才知道自己的罪名是「特務」。其實，林風眠並沒有什麼政治問題，而是他的一個學生是當時的某部副部長，解放前被追捕，曾經在他家呆過3天。文革時，說這個人是變節分子，就讓林風眠交待問題，他於是就被關起來了。
由於拒不承認「罪行」，他的雙手被反銬起來，手腕腫得厲害，手銬都嵌進了肉里。吃飯時也不給解銬，他把嘴湊到飯盆邊吃以求生存。他的許多朋友都自殺了。他說，「我絕不自殺。我要理直氣壯地活下去。」
是當年他力保的叛逆學生趙無極救了他
1972年底，在周恩來干預下，林風眠被釋放，他不敢再畫畫，帶著一身傷病，艱難生活。有一天，他忽然接到通知，說有外賓要接見他。匆匆趕去，外賓竟是三十餘年未見面的學生趙無極。當年趙無極就讀杭州藝專，生性叛逆，特別不喜歡必修的國畫課，從教室窗子跳出去逃課。在國畫期終考試的試卷上，他塗了一個大墨團，落款「趙無極畫石」，惹得國畫教授潘天壽大發雷霆判他零分，他險些被強迫退學。
林風眠愛惜趙無極的天賦，堅決把他保了下來，在他畢業後還讓他留校當助教。後來趙無極赴法國留學並定居，竟然成了「外賓」。眾目睽睽之下，趙無極疾步奔到恩師面前，長跪不起，林風眠老淚縱橫，俯下身來，師生抱頭痛哭。事後，林風眠對人說，這是趙無極要救他呢，「外賓」如此重視他，造反派也不敢再把他怎麼樣。
他憑記憶想畫出文革被毀掉的那些畫
「文革」結束後，林風眠在葉劍英幫助下被批准出國探親。他被允許帶走34幅舊作，換得一張從香港到巴西的單程機票的外匯，轉機四次，飛行40多個小時，到巴西看望分別22年的妻子女兒。臨行前，他把帶不走的畫全部贈予朋友。好友巴金收到的是一幅《鷺鷥圖》，這幅畫至今掛在上海武康路113號巴金故居的客廳中。學生吳冠中收到的是蘆塘和歸雁，吳冠中想到先生此去孤雁離群，不禁潸然淚下。
晚年林風眠客居香港，深居簡出，憑記憶重畫在「文革」中毀掉的作品，幾乎一直畫到生命的終點。他一生顛沛流離，沒有時間整理畫冊，更談不上出版全集，以至今天市場上林風眠畫作贗品不計其數。林風眠雖與徐悲鴻、劉海粟齊名，他的作品卻因真偽難辨價格遠遠落後。
黃永玉眼中的林風眠
1991年7月，心臟病突發住在醫院裡的林風眠，應傅聰之約，題寫了「傅雷紀念音樂會」幾個字，落款林風眠。這是他對老朋友最後的交代，也是他留給人世的絕筆。
黃永玉在《比我老的老頭》一書中，這樣寫到林風眠的去世：
九十二歲的八月十二上午十時，林風眠來到天堂門口。
「幹什麼的？身上多是鞭痕？」上帝問他。
「畫家！」林風眠回答。
