1945年10月至1965年11月，楊尚昆在中央辦公廳主任的崗位上幹了20年。楊尚昆曾說：「中央辦公廳是中央的辦事機構，掌握黨的全部機密，把我放在這個位子上，體現了毛澤東對我的信任。」然而，1965年11月10日，楊尚昆突然被免去中辦主任職務。同一天，上海《文匯報》發表了姚文元的《評新編歷史劇<海瑞罷官>》一文，「文化大革命」拉開序幕，中辦首當其衝，楊尚昆成為第一個「犧牲品」。
突遭撤職
楊尚昆自1945年10月接替李富春擔任中央書記處辦公廳主任，在中辦主任崗位上幹了20載。如楊尚昆所說：「一個幹部固定在一個崗位上這麼久是罕見的，對我個人來說，這20年也是一生中最重要的時期，從38歲到58歲，正是精力旺盛，多少也積累了一點經驗，是干工作的最好時期。」
在任中辦主任20年中，楊尚昆也曾幾次向毛澤東提出調換工作問題。如1958年中辦秘書室「黑旗事件」(所謂「黑旗事件」，指1957年至1958年中辦秘書室在整風反右運動中，圍繞該室負責人應否劃為右派問題發生了爭論。江青出於不可告人的目的，偏袒一方，把此情況反映給毛澤東，說中直機關黨委在中辦秘書室整風運動中壓制了「左派」，插了「黑旗」，故稱「黑旗事件」。在這次事件中，許多人受到誣陷或株連。中直機關黨委和中南海總支的一大批人受到黨紀處分;秘書室受黨紀處分和被定為「思想右傾」、「立場不穩」的占該室總人數的60%。為此，楊尚昆請求處分並辭去中直機關黨委書記職務，毛澤東未准。中共十一屆三中全會以後，在「黑旗事件」中受誣陷或株連的人全部得到平反——作者注)後，他就曾經正式向毛澤東辭職，說他在辦公廳這麼多年，工作也沒有搞好，想出去做點別的工作。毛澤東連說：「不行，不行。」毛澤東問楊尚昆：「你不當辦公廳主任，讓誰當啊?」楊尚昆向他推薦了胡喬木，毛澤東又連說：「他不行，他不行。」以後胡喬木知道了這件事，也對楊尚昆說，他當不了辦公廳主任。楊尚昆說自己實在是想脫身啊。
但是，1965年11月中央免去楊尚昆中辦主任的職務卻又很突然。11月5日，彭真通知楊尚昆：中央決定調他去廣東工作，任廣東省委書記處書記;汪東興任中辦主任。對此，楊尚昆後來回憶說：「我雖早有預感要被撤職，但來得這麼突然，確實茫茫然。」11月8日，楊尚昆向汪東興和當時在京的中辦副主任曾三、田家英、李質忠交代了工作。次日，楊尚昆寫信給毛澤東，說自己在中辦工作了20年，沒有把工作做好，辜負了毛主席和中央的期望，心情很沉重，也很慚愧，感謝毛主席和中央這次給他到實際工作中去鍛鍊和改造的機會，今後一定儘自己的努力，全心全意地把黨分配的工作做好。在去廣州之前，如果毛主席有空，很希望見見主席，得到主席的批評、指示。
第二天，毛澤東接見了楊尚昆。毛澤東說：「你辦公廳的工作做得不錯嘛!你有什麼錯誤?沒有錯誤。你下去工作一個時期鍛鍊鍛鍊好嘛。」毛澤東還給楊尚昆布置了兩個調查研究的任務：一是，看中央和國務院有什麼不適合於當地情況的政策、措施，可以寫個報告，提點意見;二是，各條條下達了一些什麼東西，同中央和國務院相矛盾的幫助理順一下。毛澤東還對楊尚昆說，廣東那麼熱，你到那裡去幹什麼?現在既然已經決定了，你去兩年到三年，把這個任務完成。先在珠江流域，以後把你調到黃河流域搞個兩三年，主要是了解黨政機關是不是按照中央精神結合本地實際來進行工作的，更主要的是條條下達的任務是不是互相打架。楊尚昆對毛澤東說，這個任務是一個很大的任務，可能完成不了，但會努力去做。
從毛澤東處回來，田家英問楊尚昆和毛主席談了些什麼，楊尚昆如實告之，田家英聽後說糟糕。他對楊尚昆說，如果毛主席狠狠地罵你一頓就好了，就沒問題了。毛主席這樣敷衍你，問題就大了。那時，楊尚昆也已預感到要出事，但他萬萬沒有想到會很快在全國範圍內搞起「文化大革命」這麼一場政治風暴。所以，他對曾三說：「曾三同志呀，這一刀砍下來先砍到我，你們也要準備挨整就是了。」11月9日，楊尚昆去周恩來處談話，對周說：「我在中央辦公廳20年，雖然工作沒有做好，但是沒有做過反黨的事情，也沒有做過有損中央威信的事情。你是最了解我的，將來有可能被開除黨籍，如果有一天真的開除我的黨籍，我也沒有辦法，但這是冤枉的，只要你了解我，我心裡就踏實了。」周恩來要楊尚昆放心，說不會那樣，要他下去以後好好地工作，不要背什麼包袱。最後，周一直送楊尚昆走出西花廳，才依依惜別。但楊尚昆萬萬沒有想到，這是他最後一次同周恩來會面。
12月10日晚，楊尚昆乘坐中央警衛局為他掛的一節公務車離京赴廣州。我和趙宇田作為楊尚昆身邊工作人員隨行。搭車去廣州的有中央調查部副部長劉志漢和周梅英、趙仲實，加上列車員王景仁、劉滿容共8人。當時，幾位中央政治局常委都到上海參加毛澤東在那裡召開的政治局常委擴大會議。楊尚昆離京時，到車站送行的只有中央組織部李楚離、喬明甫兩位副部長和警衛局副局長田疇。中辦的同志和其他好友由於楊尚昆事先打了招呼，不讓他們送行，所以當時的場面異常冷清。11日晚，火車到達長沙，由於前方列車發生事故，湖南省委書記李瑞山把楊尚昆等人接到省委蓉園招待所休息。12日，楊尚昆等人到韶山參觀了毛澤東故居。當晚，正在瀏陽指導「四清」運動的湖南省委第一書記張平化趕回長沙和楊尚昆見了面。13日下午，楊尚昆等人到達廣州，暫住廣東省委小島招待所4號樓。楊尚昆到廣州三天以後，陶鑄從上海開完政治局常委擴大會議回到廣州，從他那裡楊尚昆得知羅瑞卿出了問題。
楊尚昆後來回憶說：「毛澤東找我談話的那一天，正是上海《文匯報》發表姚文元的文章《評新編歷史劇<海瑞罷官>》的日子，文章實際上傳達了毛澤東準備發動一場『文化大革命』的信號。也正是這一天，中央免去了我的中央辦公廳主任的職務。」「如此巧合!」對於被撤職的原因，楊尚昆說：「毛澤東認為我是教條主義者，又和彭德懷的關係密切，如果不撤掉我的中央辦公廳主任職務，我將成為他發動『文化大革命』的絆腳石。所以，他首先拿我開刀。」
長達9年的「監護審查」
1966年7月3日，楊尚昆開始被「監護審查」。起初，生活待遇尚可，配有服務員和廚師，只是失去了自由。12月25日，中央專案組派專機把他押回北京，從此，他開始被無休止地批鬥，受盡摧殘、折磨......
「1月15日。茶葉、收音機都收走了。沒有收音機聽，起床後只好散步，因天不亮看不見東西。下午讀《人民日報》，周公宴會上歡迎卡博的致詞和卡博的講話。」
......
就這樣，楊尚昆經受了長達9年的「監護審查」，直到1975年2月9日被「解除監護」。
「文化大革命」中，中央辦公廳的許多幹部也因楊尚昆的問題而受到株連。1966年5月《五一六通知》發出以後，中辦的一大批幹部一夜之間變成了「反黨罪人」，中辦的工作秩序被打亂。隨著運動的不斷升級，被誣為楊尚昆的「幫凶」、「爪牙」的人數越來越多，後來又有了一個新名字——「楊家死黨」。這些人整天挨批挨鬥。田家英更是在被宣布為「反黨分子」的第二天自殺。
對於這些情況，可以從1966年7月22日中辦給中央的報告中窺見一斑。報告指出：「中央辦公廳為楊尚昆把持了20年，他一直幹著反對主席、反對中央的罪惡活動。已揭露的大量事實證明，不僅原辦公廳的領導核心爛掉了(楊和曾、田、龔三個副主任)，而且下面幾個主要單位的絕大部分領導骨幹也爛掉了(如機要室、秘書室、辦公廳直屬各組、檔案局、檔案館、特會室等)。多年來，楊尚昆包庇壞人，招降納叛，培植了一批反黨幫凶和爪牙。到目前為止，辦公廳及所屬各單位已揪出反黨分子曾三、田家英、龔子榮、葉子龍、康一民、吳振英、何均、賴祖烈、裴桐、李欣、逄先知等24人。」
1978年11月23日，中央專案審查小組向楊尚昆宣布了審查結論：「楊尚昆同志在中央辦公廳工作成績是主要的，曾受林彪、『四人幫』的誣陷迫害。現已審查清楚，應恢復其黨的組織生活，補發在審查期間停發的工資。」但是，這個審查結論留了尾巴。兩天以後，11月25日，華國鋒在中央工作會議上講話時說：「楊尚昆同志不顧毛主席的指示和批評，在私錄毛主席談話的問題上犯有錯誤。經過審查，過去把他定為陰謀反黨、裡通外國是不對的，應予平反。中央決定，恢復楊尚昆同志的黨組織生活，分配工作。」中共十一屆三中全會以後，對所謂「秘密錄音」問題再次進行審查，直到1980年10月中央才正式發文為原中央辦公廳和楊尚昆徹底平反。
