1959年10月1日，羅瑞卿大將在天安門城樓上
文革前後，被打倒的開國元勛不計其數，被打倒的內幕大都清楚。但文革開始的前夕，羅瑞卿突然被打倒，這筆帳後來雖然被官方算在林彪頭上，但是還有很多疑問，其真實內幕至今眾說紛紜。
羅瑞卿在歷史上是毛澤東和林彪都信任的人。政治領袖都有自己的嫡系人馬，爭奪天下時更是如此。在國軍方面，老蔣嫡系是黃埔系，黃埔系同時還是浙江籍的，更是嫡系中的嫡系，如陳誠、湯恩伯、胡宗南等。毛澤東的嫡系當然是紅一方面軍出身的將領，在開國十大元帥中就占了八個(除了紅二方面軍的賀龍和紅四方面軍的徐向前)，雖然長征後，紅一方面軍的人數是最少的。紅一方面軍後來的兩大主力——紅一軍團和紅三軍團，紅三軍團由彭德懷的平江起義部發展而來。而紅一軍團則主要是朱毛會師後的人馬，即毛澤東秋收起義部和朱德、陳毅湘南暴動部。秋收起義部就不用說了，原屬朱德、陳毅部的包括林彪在內的一大批中下層軍官為毛提拔重用，成為毛的親信。所以紅一方面軍、紅一軍團這「雙一」出身的，是毛澤東嫡系中的嫡系。羅瑞卿正是這「雙一」系統的重要人物。
羅瑞卿和林彪自1930年2月開始共事，雖然羅比林彪還大一歲，但一直是林彪的部屬。羅瑞卿和劉亞樓是與林彪關係最為密切的將領。後來被稱為林彪「四大金剛」的黃永勝、吳法憲、李作鵬、邱會作包括肖華、楊成武在內，無論從歷史淵源、私人關係和受重用的程度都不如這兩人(很多人說，如果劉亞樓沒死，後來進去的就不是吳法憲而是他)，劉亞樓曾替林彪給羅瑞卿傳話：「林總講了，就是肖華、楊成武跑了，他都感到不要緊，你們兩個羅(羅榮桓、羅瑞卿)要是跑了，他就會感到很傷心。」
林彪擔任紅四軍軍長時，羅瑞卿是十一師的政委。林擔任紅一軍團軍團長時，羅是軍團的保衛局長。到達陝北後，林擔任紅軍大學(即後來的抗大)的校長，羅瑞卿是教育長。抗戰時期，林彪負傷去蘇聯養傷，羅瑞卿成為實際的校長。太原戰役後，羅瑞卿要求調到四野，林彪、羅榮桓也同意，只是由於毛澤東讓羅當公安部長才作罷。廬山會議彭德懷下台後，羅瑞卿接替黃克誠擔任總參謀長也是林彪建議的。
至於羅瑞卿和毛澤東的關係，羅更是毛澤東一手培養起來的幹部。羅瑞卿1926年考入黃埔軍校武漢分校。後人都奇怪為什麼黃埔軍校的畢業生大都在國民黨這邊，怎麼打仗都不如共產黨那邊大都沒有任何正規軍校背景的泥腿子。要知道老蔣最重用的是黃埔一期，而黃埔一期的學生才學了七個月就匆匆奔赴東征戰場，被神話的黃埔一期至多是個軍官速成班。中共將領對毛澤東的個人崇拜可不是被洗腦給洗出來的，戰爭中軍人都是提著腦袋上戰場，誰讓他們能活命，誰能讓他們能打勝仗，他們就信服誰。毛澤東的個性雖並不為身邊的同事所喜，但在中共眾多將領中有著不容置疑的權威。毛澤東的嫡系將領無不受到他耳提面命的教誨，羅瑞卿也不例外。
羅瑞卿1929年與毛澤東相識，毛澤東稱他為「長子」，「羅長子」的綽號也不脛而走。1930年初，羅瑞卿任二縱隊政治部主任期間，毛澤東曾手把手地教羅瑞卿如何調查研究。羅瑞卿和毛澤東接觸時間最多的有兩段，第一段是抗戰初期。毛澤東曾讓羅寫一本《抗日軍隊中的政治工作》，就讓他住在自己旁邊的一個窯洞裡，每天讓炊事員給他送飯，寫完才讓出來。羅在抗大擔任教育長、副校長時，毛澤東經常到抗大講話，對抗大工作的許多重要指示，羅瑞卿都忠實執行。第二段是中共建政以後直到羅挨整。從1949年到1959年，羅是公安部長，只要是毛外出，羅瑞卿基本都陪同，被戲稱為毛澤東的大警衛。毛澤東酷愛游泳，豪言「游遍祖國大江大河」。為了保護毛澤東的絕對安全，年近半百、不諳水性的羅瑞卿居然苦練學會了游泳。
1955年軍隊第一次授銜時，十位大將中羅瑞卿資歷最淺，也無顯赫的戰功，被授大將軍銜有人反對，認為授他上將軍銜足矣。毛澤東聽說後笑了笑：「羅長子我知道，大將軍銜當之無愧。」正如羅瑞卿的女兒羅點點所說：「爸爸確實是這個時候開始脫穎而出，毫無疑問，這是因為他日益受到毛澤東的重視和任用。」鄧小平曾說過：「天塌下來，我也不怕，因為有高個子頂著。」而毛澤東說：「天塌下來有羅長子頂著。」「羅長子往我身邊一站，我就感到十分放心。」可見毛澤東對羅瑞卿的信任。廬山會議後，在總參謀長的人選上，當毛澤東得知林彪推薦的是羅瑞卿，毛笑著對周恩來和林彪說：「你們很會選人，羅是個干將，此人只有林彪同志才能想得到。」
羅瑞卿能獲得毛澤東的信任除了工作能力，毋庸置疑更多取決於他對毛的忠誠，而且這種忠誠到了愚忠的地步。柯慶施說過：「相信毛主席要到迷信的程度，服從毛主席要到盲從的程度。」羅瑞卿是中共黨內很早就做到這點的高級幹部，而像這樣的中共幹部當時也大有人在。與羅瑞卿關係甚差的彭德懷甚至當著黨的高級幹部說，羅瑞卿就是毛澤東的一條狗，你們背後說什麼壞話不要告訴他，不然很快就會傳到毛澤東的耳朵里。但平心而論，包括羅瑞卿在內的大部分中共幹部對毛的忠誠是出於樸素的情感和中國傳統的君臣道義。
羅瑞卿性格耿直，作為毛澤東的親信，他不像柯慶施、陳伯達之流喜歡揣摩上意、阿諛奉承。早在紅軍時期，毛澤東就說過：「羅長子敢說真話，是個好人。你們應該向羅長子學習。」雖然羅瑞卿忠誠於毛澤東，對林彪非常尊敬，但他還是有自己的原則。1955年授銜時，葉群想被授予大校軍銜，羅瑞卿按照規定只給她評了個上校。1965年取消軍銜制後，江青找到羅瑞卿，想要一套新式的軍裝和帽徽領章，由於江青當時連軍人都不是，羅瑞卿考慮再三，只給他一套軍裝，沒給帽徽領章。聯想到這兩位夫人的人品個性，兩人自然是大為光火。這兩件事對羅瑞卿來說簡直是舉手之勞，但羅還是堅持原則，其為人可見一斑。在抗大時毛澤東曾送給羅瑞卿兩句話：「水至清而無魚，人至察則無徒。」後來被羅瑞卿及其家人認為是毛有意無意地提醒羅瑞卿之語，認為這也是羅後來被打倒的原因之一(巧的是黃克誠也曾這樣評價羅的老對頭彭德懷)。
羅瑞卿長期從事軍隊保衛工作，中共建政後為第一任公安部部長，併兼任公安部隊司令員。在中共建政前後多次參與或領導肅反運動，雖然每次肅反運動都有擴大化的現象，甚至他在長征途中下令槍殺過走不動掉隊的紅軍戰士，但這些在殘酷時期為了維護政黨和政權的殘酷行為，在同樣經歷過殘酷時期的黨內人眼裡也屬正常，至少沒有在黨內激起公憤(彭德懷惱火是因為槍殺的是他紅三軍團的戰士)。他不像康生和自己的繼任者謝富治那樣陰毒無比，為了個人權欲故意大造冤獄。或許黨內很多人不喜歡羅的張揚，但至少他不會像蔣介石手下的戴笠、史達林手下的貝利亞以及康生那樣讓同事們感到恐懼。
在張聞天的老部下何方看來，毛澤東是以「家臣」對待羅瑞卿。這個評價雖然有些尖刻，但也符合實際。1960年12月25日毛澤東在過生日前夕，對他的親屬和身邊工作人員說過：「今天在座的，受過我批評最厲害的是汪東興同志，除他之外，還有羅瑞卿同志。我罵過他們，要他們從房子裡滾出去。」汪東興是何許人也，如果說羅瑞卿是「家臣」，那麼汪東興就是毛最寵信的「侍臣」，毛澤東拿羅瑞卿和汪東興相提並論，說明羅瑞卿在他心裡的地位。何況「滾出去」一詞，毛能對汪東興、羅瑞卿說，甚至也對江青說，但毛不是對所有人都說。毛澤東能輕蔑地對接班人、國家主席劉少奇說：「你有什麼了不起，我動一個小指頭就可以把你打倒!」但毛澤東不會對劉少奇說「滾出去」，毛澤東對職位比羅瑞卿、汪東興職位更低的人也發過火，但毛也不會說「滾出去」。有趣的是，毛澤東的老對手蔣介石也是如此。老蔣對身邊的侍從從來不假辭色，對戴笠也是經常又罵又打，但對其他黃埔嫡系發火時態度就好得多，對待其他派系的人物表面上更是客客氣氣。看來能享受領袖說「滾出去」待遇的只有自己身邊真正的親信(葉群也真真假假地對羅瑞卿說過：「101(林彪)的脾氣壞得很，他只能同自己最親密的人發脾氣，總長就是他最親密的人」)。
即使是親信，也有三六九等之分。在威權時代，最高統治者對臣下信任程度的高低，與臣下和自己關係的親疏成正比，與臣下的職位高低成反比。羅瑞卿曾列席政治局常委會，這可不是一般的榮耀。但有一陣不讓他列席了，原因是毛岸青夫婦的生活一直是由羅瑞卿照應，「四清」運動時毛岸青的妻子邵華為了鍛鍊而想去農村搞「四清」，羅瑞卿因毛岸青要人照顧勸邵華不要去，但在邵華堅持下，羅瑞卿考慮再三，將邵華安排在離北京很近的地方。毛澤東知道此事很不高興，羅瑞卿也就被取消列席政治局常委會的資格。過了一段時間，毛澤東的護士長吳旭君對毛說是邵華自己提出，與羅瑞卿無關。這才解開了毛澤東心中的疙瘩，羅瑞卿又能去列席常委會了。奇怪的是，當時一位知道內情的人來給羅瑞卿打招呼：羅總長啊，知不知道政治局常委會為什麼沒要你來啊?這人知道內情，其他常委想必也知道，但居然沒有誰覺得不正常。
政治局常委會是決定中國億萬人命運的最高決策會議，決定羅瑞卿不能列席的，是一個身為毛澤東家屬的女人;而決定羅瑞卿又能列席的，是另一個身為毛澤東護士長的女人。而無任何組織程序。看來「家臣」的地位和影響力還是不如「皇親」和「侍臣」。另一方面，雖然家臣受到最高統治者的信任能呼風喚雨，但是在兩種情況下很有可能被打入地獄：一是在特殊情況下，為了利益家臣可能會被最高統治者輕易拋棄，二是最高統治者對家臣忠誠的要求比對其他人更高，如果家臣的忠誠受到懷疑，受到的處罰會比其他人更嚴厲。而被毛澤東視為「家臣」的羅瑞卿就是因此下台的。
1959年廬山會議後，由於彭德懷等人被打倒，中央政治局改組軍委組成人員，林彪為第一副主席，主持全面工作，賀龍任第二副主席，聶榮臻為第三副主席。林彪接替彭德懷任國防部長，羅瑞卿接替黃克誠任總參謀長。從1959年到1965年被打倒，羅瑞卿先後擔任5個方面的13個要職：在黨內，是中央委員、書記處書記，還是中央對台工作小組負責人;在政府，是國務院副總理;在軍隊，是中央軍委常委、軍委秘書長、總參謀長、國防部副部長、國防委員會副主席、人民防空委員會主任;在國防工業戰線，是國防工辦主任，十五人專門委員會和中央專委成員兼辦公室主任;在人大，是全國人大常委。可謂權傾一時。由於林彪身體等原因，羅瑞卿實際負責軍委日常工作，不要說羅瑞卿的兩位前任粟裕和黃克誠，即使是當初彭德懷某些方面也無此等權勢，可謂空前而且應該是絕後了。以至於羅點點說：「說句玩笑話，如果真有離了他地球就不轉的人，爸爸得算一個。」
在那個非常歲月，很多政壇人物的命運「其興也勃焉，其亡也忽焉」。羅瑞卿的命運也猶如過山車，在人生快速達到巔峰時，又霎那間墜至萬劫不復。由於羅瑞卿曾是毛澤東和林彪共同的親信，被打倒的突然性以及很多相關的史料未公開，其被打倒的真實原因，至今眾說紛紜，沒有定論。其中主要的觀點有：
一、官方說。官方把帳算到林彪頭上，鄧小平在羅瑞卿追悼會上致悼辭時說：「羅瑞卿同志是大家所熟知的同林彪反黨集團堅決鬥爭的英勇戰士，受到林彪、『四人幫』的殘酷迫害。」
二、流傳最廣的，也被羅瑞卿家人認可的觀點。林彪竭力想拉攏羅瑞卿，被羅拒絕。林彪向毛澤東提出解決羅瑞卿，毛澤東本不想打倒羅，但出於準備發動文化大革命打倒劉少奇的目的，需要和林彪結盟。羅瑞卿成為毛、林結盟的祭品。
三、毛澤東認為羅瑞卿軍事上靠近賀龍，政治上投靠劉少奇、鄧小平，因此毛在發動文化大革命前清掃外圍，將羅瑞卿打倒。同時，林彪感到大權旁落對羅瑞卿不滿，或者林彪只是出於無奈，附和毛澤東。
四、羅瑞卿得罪葉劍英、聶榮臻等老帥，他們聯合楊成武、肖華、劉志堅、謝富治等人向毛澤東告狀。認為這即使不是關鍵原因，也是重要因素之一。
以上四種觀點，第一種是官方的慣用說法，不值多說。文革前後被打倒的領導幹部，最後在悼辭或者官方生平介紹上，只要是能扯得上的，帳都算在林彪、『四人幫』頭上(同樣，文革後，鄧小平在彭德懷追悼會上致悼辭時說：「他在林彪、「四人幫」的迫害下…..」而對廬山會議隻字不提)。實在扯不上的，也只說「被錯誤地批判」。至於被誰，出於維護偉大領袖或後來還在當權的人的原因，只能讓讀者自己領會。
由於相關的史料很多沒有公開，在世的當事人後來也對此諱莫如深，這裡結合後面幾個觀點，探究其中原因。
廬山會議後，羅瑞卿在軍隊主要的職務是總參謀長，上上下下也以羅總長稱呼他，但實際上羅瑞卿最具實權的職務是軍委秘書長，他以此身份主持負責處理軍隊日常工作的軍委辦公會議。由於林彪常稱病放手讓羅瑞卿工作，所以軍委日常工作實際由羅瑞卿主持。而且羅當時是中央書記處的書記，軍銜雖然是大將，但見報時他的位置有時還排在幾位老帥之前。中央和軍委開了什麼會，他去各位老帥那名義上是報告，實際上是傳達。羅瑞卿主持會議的時候，不管是大將還是上將，點到哪個，都得站起來向他回話。羅瑞卿是個勤於任事的人，也是一個有魄力、能幹的人。他是一個很好的執行者，但也有個人權欲。他的政治頭腦和張揚的性格不足以應付當時詭秘的政治環境和複雜的人事關係。
林彪放手除了身體多病、不喜瑣事外，也有避禍自保的原因。但放手不意味放權。林彪不喜歡大小事都向他匯報請示，但並不意味著他所注重的事情不讓他知道和決定。很多事情羅瑞卿直接請示毛澤東或自作主張辦了，而林彪事後才知道。羅這樣做，一是因為毛是中央主席和中央軍委主席，羅直接向毛請示也符合組織程序。二是像不滿羅的人所說，羅是藉口林彪身體不好，還經常在外地養病，以怕打擾林彪為名而專權。林彪礙於毛澤東不好表達不滿，但受冷落的心態羅瑞卿感受得到(在任公安部部長時，毛也曾為羅通過周恩來而不是直接寫報告給他而大為光火)。
1963年，林彪身體大病後，軍委工作由第二副主席賀龍主持，於是羅瑞卿工作上和賀龍走的很近，更使林彪感到大權旁落。此外，林在軍內開展學毛著作的活動，而羅瑞卿在毛的指導下，請陳伯達挑選30本馬列著作進行學習。林強調軍隊突出政治，而羅瑞卿和賀龍聲勢浩大搞軍事「大比武」，這些都讓林彪覺得羅瑞卿是和他不是一條心(軍內「郭興福教學法」原為葉劍英發現，後來羅瑞卿和賀龍發展成「大比武」，葉認為羅將自己的功勞據為己有而強烈不滿。有趣的是羅被打倒後，羅的罪名之一是「大比武」沒經毛的批准，於是葉也不把這「功勞」搶回了)。羅瑞卿開展的「大比武」或許像其他人所說，有個人出風頭的嫌疑，但並不是為了對抗林彪，但這發生在林已對羅心生芥蒂之時，不可避免地讓林彪懷疑羅瑞卿的動機。在常人眼裡看來是平常的事情，在政治家眼裡都有政治的意涵。
這裡要說明的是，並不如後來所說，說林彪只注重政治而忽略軍事，甚至搞亂了軍隊。林彪是卓越的軍事家，軍隊也是他與毛的權力之源，林不可能讓軍隊處於混亂狀態。事實上，在文革期間，為了防止江青等人插手軍隊，林彪不惜明里暗裡與江青對抗，得到其他老帥和高級將領的支持和讚揚(林彪說過：「如果他們(指江青等人)在軍隊有市場，就是亡黨亡國的開始」)，也為備受江青為首的中央文革欺辱的周恩來所樂見。使軍隊在文革中大致保持穩定，在當時社會一片混亂時，軍隊成為穩定國家最有力的，也是最後的手段。
林彪的性格內斂低調、沉靜寡語，而他的兩員大將羅瑞卿和劉亞樓雖然都屬能幹之人，但性格卻都是飛揚跋扈、鋒芒畢露。劉亞樓任空軍司令員時，雖然吳法憲是派來協助他工作的，但吳畢竟是政委，而且中共歷來是黨指揮槍，卻搞得吳法憲像是他的小跟班。劉對空軍副司令員劉震、成鈞、曹里懷等人更是頤指氣使。
劉亞樓的專橫跋扈畢竟只限於空軍，而羅瑞卿擔任的是軍委秘書長，是軍隊大總管，按照資歷和戰功，排在他前頭的元帥和大將還有大把，本來就有點「木秀於林」的意思，其張揚的個性和霸道的工作方式，不免得罪葉劍英、聶榮臻等老帥及其他高級將領。甚至有人說羅「狗仗人勢」，連林彪也不得不出來替羅受過。邱會作回憶說：「一九六五年，大約是五、六月間，軍委常委會在京西賓館舉行。會前，葉、聶兩帥在休息室談羅的問題。我進去時他們還在談，我欲退出，他們卻招手讓我坐下，我聽到葉帥說：『他真是利令智昏了，人長、腳長、手也長!』聶帥說：『壞就壞在手長上!』雖然他們說的那些話未指出人來，我的腦子一轉，也就知道是指誰了。葉帥還對我說：『我們談的問題，你是懂得的，將來你會知道更多的問題，估計你已經知道我們是說誰了。我們還要給一些同志打招呼。』關於羅瑞卿的問題，葉、聶不僅僅是打招呼的問題，而是教導我們要與羅的錯誤作鬥爭。」
羅瑞卿在軍內得罪不少人，但如果只把羅瑞卿被打倒看成是高級領導人之間個人恩怨是膚淺的。沒有毛澤東的決定，像羅瑞卿這樣的親信、這個級別的高級將領，其他人是動不了的，包括林彪，更不用說葉劍英、聶榮臻等人。以林彪謹慎的個性、避禍的心態和對毛澤東的了解，他何敢要挾毛澤東?林應該明白即使在毛澤東危急的時候要挾成功，以毛記仇的個性肯定也會秋後算帳。有句話說，文革中，周恩來只敢保毛澤東也想保的人，那麼也可以說，林彪只敢打倒毛澤東也想打倒的人。這兩句話雖然不一定全面：周恩來、林彪揣摩毛的心思可以挾帶私意，將毛想保或想打倒的名單擴大化，以保護或打倒自己想而毛並不在意的人。但周、林不敢保或打倒毛一定要打倒或想保的人，即使企圖嘗試也不會成功，例如周想保賀龍，林想打倒張春橋。
羅瑞卿是1965年12月上海會議上被拿掉的，又在1966年的三月會議被正式安上罪名打倒。此時距離爆發文化大革命才僅僅幾個月。因此羅瑞卿被打倒絕不是偶然的，是毛澤東發動文化大革命前的一個政治決心。
中共八大後，毛澤東雖然退居二線，但毛是不會讓自己大權旁落的，權力制衡是毛的法寶。當時處於第一線的，黨政工作主要劉少奇、鄧小平負責，而八大後毛澤東提議設立書記處，讓鄧小平做總書記，本來是用鄧來牽制劉少奇的，誰知鄧小平最後和劉少奇走到一起。同樣，在軍隊裡，毛讓賀龍擔任第二副主席，一是賀龍在廬山會議上批彭德懷有功;二是羅榮桓曾給毛建議，軍隊重要職務不要只任用一方面軍的人，也要照顧其它山頭，以利於軍隊團結(彭德懷下台後，在國防部長接替人選上，彭自己向毛推薦的人選是陳賡，也有林彪。羅榮桓推薦的是賀龍，而在總參謀長的人選上，羅榮桓推薦的是許光達和肖勁光)。毛最後重用賀龍，卻不是出於軍隊團結，同樣是為了軍內的權力制衡。而自己和林彪的親信羅瑞卿又和賀龍走到一起，毛澤東的感受可想而知。
羅瑞卿是書記處書記，和劉少奇、鄧小平走的也很近，劉少奇接見外賓的時候明白地說羅瑞卿是將來國防部部長的接班人(文革結束後，鄧小平復出即讓羅瑞卿重新擔任軍委秘書長，也可見鄧對羅的器重，要知道當時葉劍英的影響力還在鄧之上)。使得毛認為劉少奇插手自己視為禁臠的軍隊同時，另一方面更對羅的忠誠產生懷疑。特別是當毛髮現羅瑞卿對在《解放軍報》上轉載姚文元《評新編歷史劇海瑞罷官>》文章的問題上態度曖昧，並私下與彭真溝通，加上拒絕江青提議召開文藝座談會，更讓毛失去對羅這個「家臣」的信任。
有很多人認為羅瑞卿想在軍事上投靠賀龍，在政治上投靠劉少奇、鄧小平。這個說法很值得懷疑，工作上的接近並不意味所謂的投靠。即使是投靠，羅也不可能反毛。中共黨內各個山頭爭權奪利是不真的事實，但是都在尊毛的基礎上，無人敢挑戰毛的地位。毛清楚羅應該不會背叛他，但毛不能容忍羅對他軍事上最倚靠的林彪有二心。對於統治者來說，臣下的忠誠與否並不一定取決於事實而往往只是一個感覺。
關於毛澤東發動文革的原因，用高文謙的話來說源自「毛澤東這種企圖一步建成社會主義的烏托邦夢想和擔心身邊出現赫魯雪夫式人物的猜疑妄想。」這個分析「雖不中，不遠矣」。50年代中後期毛澤東發動的「大躍進」和人民公社化運動造成全國性的大饑荒，導致上千萬中國人餓死，使得毛在黨內外的威信大為下降。在1962年的七千人大會上，劉少奇直言不諱這是「三分天災，七分人禍」。後來劉更當著毛說：「餓死這麼多人，歷史要寫上你我的，人相食，要上書的!」要知道「人相食」的記敘在史書上只在有暴君或社會最混亂的時候出現。熟讀史書的毛澤東不可能不知道，這重重地擊中了毛的心病。史達林死後被繼任者赫魯雪夫「鞭屍」的情形還歷歷在目，毛雖然不喜歡史達林，但是他絕不容許自己落得和史達林一樣的下場。
七千人大會後，毛澤東就著手準備打到劉少奇。而經過多年經營，劉少奇在黨政系統內，從中央到地方已有很大勢力，已成尾大不掉之勢。並且劉少奇通過對「大躍進」等錯誤政策的調整，在國內威望日增。此時毛想通過正常的組織程序打倒劉已不大可能，只能發動自下而上的「文化大革命」。毛澤東知道自己在黨政系統中已被架空，唯有依靠林彪所掌管的軍隊為他保駕護航。於是毛決定一方面利用林彪和其他將帥對羅瑞卿的不滿順勢將羅拿掉，穩定林彪和其他軍隊高層，另一方面通過打倒擔任中央書記處書記的羅瑞卿、彭真、陸定一以及候補書記的楊尚昆，打擊劉、鄧的政治勢力。
1965年11月，葉群去杭州向毛澤東告羅瑞卿的狀，目前被認為是羅瑞卿被打倒的主因。其實邱會作早在8月間，就被葉劍英叫到家裡打招呼，葉毫不隱晦地批判羅瑞卿，並直言這是毛澤東交代的，被打招呼的人還有其他一些高級將領。邱會作回憶道：「葉、聶都是原則性很強、修養很深的人，這樣的意見如不是來自毛主席那裡，他們是不會亂說的。這也說明早在一九六五年十一月三十日林給主席寫信之前，早在主席召葉群去談話之前，主席對羅瑞卿已有打算了。葉劍英、聶榮臻、謝富治、蕭華、楊成武等對主席的意圖早已心知肚明了……所以，葉、聶二帥向軍隊高級幹部打招呼，應當是主席安排的。而且，哪些人可以打招呼，哪些人不可以打招呼，可能都是主席決定的，比如不給賀龍打招呼，這麼大的事，葉、聶是不敢定的。然而我卻沒有聽說林彪給誰打過招呼，林也從來沒有找我談過話，講羅的問題。」現在看來，葉劍英在打倒羅瑞卿的事情上面出力至少不少於林彪。除了葉群受林彪委託，其實還有肖華、楊成武、劉志堅等人集中向毛澤東作了好幾個小時的匯報，告羅瑞卿的狀。在12月上海會議時，共有13份揭發羅的材料，現在公開的只有葉群、李作鵬、雷英夫的，其它寫材料人的名字一直未公開，其原因當然是這些人文革後還在掌權。
上海會議上羅瑞卿只是被拿掉，還不是一個「火藥味」很濃的會議(一度與羅瑞卿很親近的賀龍倒是在會上最積極，見人就罵羅瑞卿。他說：「他媽的，長子是婊子養的，他用公安部的辦法，在黨內、軍內干私貨，真卑鄙!」)。沒有扣上反毛澤東和毛澤東思想這兩個在當時最重的罪名。毛澤東還說：「(羅瑞卿)反對你(林彪)，沒有反對我……」據說毛一度準備把羅「流放」到江西。但毛澤東為了即將發動的文革，清掃劉、鄧的外圍，還是將羅瑞卿「打包」進後來的「彭、羅、陸、楊」陰謀反黨集團。於是在1966年的三月會議上，羅瑞卿被徹底打倒。毛澤東在這一年說過一句話：文革就是剝筍。「彭、羅、陸、楊」就是這個「筍」的外層。
至於三月會議的過程，與當初批彭德懷和文革後批其他人的過程大致相同，無非是群情激奮、上綱上線、無中生有、羅織罪名，直至批倒批臭。所不同的是，如果說當初批彭德懷時，還有人替彭出頭，彭的好多老部下只是陽奉陰違，而當初羅瑞卿「木秀於林」，得罪人又太多，批羅瑞卿是呈一邊倒之勢，同情者寥寥。
直到此時，羅瑞卿還以為是毛澤東、林彪誤會自己，他打電話給周恩來，想見毛、林二人——就像那個寓言，狼說羊把水弄髒，要吃掉羊，羊卻不明白這只是狼要吃它的藉口，而徒勞地向狼解釋那水不是它弄髒的。心知肚明但不能明說的周只能激動地對他說：「太天真，你太天真了。」加上之前他看到有些揭發材料是由他自己的親信所寫，更讓他難以承受。至此，羅瑞卿完全絕望。1966年3月18日，羅瑞卿在家中跳樓自殺，所幸命大，落地時只摔斷左腿的足跟骨。
羅瑞卿跳樓時，三月會議還沒有結束，對他的結論還沒有最後作出。羅在這種情形下自殺，也為文革前後挨整的領導人中少見。或許是剛則易折，或許是羅雖然歷經黨內殘酷鬥爭，但他從未挨整，相反很多時候還是整人者，角色的轉換讓羅受不了。而作為女兒的羅點點是這樣分析的：「他原以為，毛澤東對他的信任是一塊誰也搬不動的大石頭。」如今，「他賴以立腳的基礎和他的精神殿堂都在這一刻嘩啦啦地坍塌下去，轉眼變成一堆廢墟。如果事實真相已經不是評判是非的標準，那麼他為之奮鬥了一輩子的東西到底都是一些什麼呢?一向崇高聖潔的信仰忽然變得無法理解，甚至面目猙獰。爸爸形容這一刻的心情時說：『我感到眼前一片黑暗，毫無希望，已陷進無可名狀的痛苦深淵之中。覺得除此之外，別無出路。』當生活變得太殘酷的時候，死亡就顯得溫柔和光明了。」
「君要臣死，臣不得不死」，反過來說，君不要臣死，臣不得去死。在那個年代，挨整的人即使自殺也是不被原諒的，被稱之為自絕於黨，自絕於人民。毛澤東聽到羅瑞卿跳樓的消息後，有些驚訝：「為什麼跳樓?」然後講了一句：「真沒出息!」而其他人對此沒有感到同情，用羅點點的話說：「他們用最難聽的話說爸爸，說：『羅長子跳了冰棍……』。也有人不說難聽話，他們詩意大發，詩里寫：將軍一跳身名裂，向河梁，回首萬里，故人長絕……。」由於當事人的地位，羅點點不好明說。實際上，說「跳冰棍」的是鄧小平，原話是：「羅長子就象女跳水運動員，跳了一根冰棍。」而「詩意大發」的是葉劍英，他是把辛棄疾《賀新郎》中的「將軍百戰身名裂」隨口修改了一下。被羅點點痛斥為「縱慾後的滿足」。不由得讓人想起廬山會議打倒彭德懷時，朱德說過的一句話：「你們這樣的做法，誰能想到我們一個飯鍋吃了好多年?」
羅瑞卿跳樓後並未得到實質的治療，文革中被裝進籮筐抬著在台上批鬥，籮筐旁是一片片左腿流出的鮮血，其狀甚慘。羅瑞卿的兩位前任粟裕、黃克誠也是被整下台，在文革中也都受到衝擊，但羅在文革中的遭遇要比這兩人慘得多。羅瑞卿後來被關進監獄。而一直到進監獄，羅瑞卿都在苦思冥想為什麼毛、林對他有如此深的誤會。而真正讓他醒悟和反思的居然是一張報紙。
由於九大的召開，羅瑞卿所在的監獄被允許看報紙，他看到了九大後的政治局名單。政治局是中共的權力核心，是神聖的殿堂，即使羅瑞卿當初最風光的時候都未能進入(包括文革後)。當羅瑞卿看到他極其鄙視的葉群也進入政治局名單後，他的第一反應是林彪這些人要完蛋了。戰國時有個「趙王之爵」的故事。趙王得到一塊寶玉，命玉匠製作了做了只酒杯，下令有大功者有權用這玉杯喝酒。趙奢打敗了秦軍後，趙王請他用玉杯喝酒。此後，全趙國的人把使用玉杯喝酒視為最高的榮耀。後來，趙王用此杯盛酒賜於一個給他舔痔瘡的寵臣。再後來，趙將李牧打敗秦軍，趙王又拿出玉杯時，這回將士們都不喝了，覺得深受侮辱。羅瑞卿或許不知道這個故事，但是感受應該和這些趙國將士類似。羅此時開始反思個人崇拜給國家和他個人帶來的災難。
1973年，解禁後的羅瑞卿住進301醫院治腿，當得知走廊另一端，一間糊滿報紙的房間住的是老對頭彭德懷時，他有些傷感地對羅點點說：「不該把我和彭德懷關在一起的，他還是做過幾件反對毛主席的事情的，我拿什麼和他比?」這句話讓現在的人看來有些啼笑皆非。雖然此時兩個老對頭同淪天涯，往日的恩怨也早已淡去，但羅瑞卿還是為自己「忠臣」的名分耿耿於懷。
1976年毛澤東去世，羅瑞卿心急如焚地趕回北京，堅持不讓他人攙扶，拄著雙拐挪到毛澤東的遺體旁，久久端詳，泣不成聲。後來，他只要坐車經過天安門廣場，總要司機減慢車速，艱難地從座位上起身，朝城樓上的毛澤東畫像恭恭敬敬地行個軍禮。而當時的政治環境他已用不著演戲。羅瑞卿重新擔任軍委秘書長後，雖然事務繁忙，但仍兼任了毛主席紀念堂管理委員會的主任。只能說沒有在毛澤東麾下戰鬥過的人，是很難體會像羅瑞卿這輩人的感情的。因1967年武漢「七·二〇」事件被打倒而飽受折磨的陳再道上將，後來對韓先楚上將說：老韓哪，咱們這些人，生是毛主席的人，死也是毛主席的鬼呀!他說到這裡，那淚水都快要下來了。
羅瑞卿復出後，積極協助鄧小平撥亂反正，在當時轟轟烈烈的真理大討論中，他冒著政治風險堅定支持胡耀邦，支持《解放軍報》全文轉載《實踐是檢驗真理的唯一標準》——羅瑞卿雖然對毛的忠誠不變，但他已認識到，即便偉大如毛澤東者，也難逃歷史的檢驗。
1978年8月3日，羅瑞卿去德國治腿病時，因突發心肌梗塞去世，終年72歲。