王世襄自稱一生「玩物喪志，業荒於嬉」，但在中共建政後的政治運動中仍難逃噩運。他曾經回憶說：「我的前大半生是很坎坷的。『三反』運動中被拘留過， 1957年又被劃為『右派』，到『大革命』（『文革』）中已是一個『老運動員』。」
1969年，已經55歲的王世襄與國家文物局系統的一部分幹部和職工一道，被下放到湖北咸寧的"五七"幹校參加"勞動改造"。他說：「在這裡，牧牛、放鴨、養豬、種菜、插秧......甚麼活都幹過，甚麼苦也吃過。」
三年多的幹校生活儘管勞動艱苦、生活清貧，但他好玩的天性在這裡找到了應有的樂趣。他很快成了養牲口的行家裡手。一有閒暇，他跟當地老鄉學採集野生菇，漫山遍野采靈芝，挖蘭花，還常常跑到幹校所在地向陽湖邊向漁翁求教打魚。直到1973年夏天，王世襄才回到北京。
1966年，文革的風暴席捲之初，王世襄耳聞目睹紅衞兵的破「四舊」手段，預感家裡多年精心收藏的明式家俱、佛像、銅器、鴿哨、古籍膳本和自己的手稿，都會遭到滅頂之災。因此他被迫「自我革命」，跑到國家文物局，主動請求抄家，這才讓自己的珍品躲過了被毀滅的一劫。
王世襄認為一生中做過的最有意義的事情有兩件，一件是，日本投降後為人民收回幾千件國寶，這些文物現在都藏在故宮博物院。第二件則是編寫文物研究著作《髹飾錄解說》。
王世襄出版的專著還有《明式家俱珍賞》、《中國古代漆器》、《中國古代音樂書目》、《蟋蟀譜集成》、《錦灰堆》等20多部，他的研究多受到中外學者的高度重視。
博學的王世襄在半生坎坷中並沒有被壓倒，反而時常苦中作樂，即興賦詩，以明心志。他在勞動之餘有感而發----
《畦邊偶成》："風雨摧園蔬，根出莖半死。昂首猶作花，誓結豐碩子。"
王世襄先生的遺體已經在29號上午火化，12月4號在北京舉行追思會。依王世襄生前願望及家屬意願，不舉行遺體告別儀式，家中不設靈堂。
記錄王世襄，研究王世襄
