文革爆發不久，賀龍對文革中無限上綱的作法表示不滿。1967年1月，毛澤東決定隔離賀龍，他和周恩來在中南海作了專門研究，要周親自去落實。1月10日，賀龍在人身安全遭受威脅的情況下，經周安排，被轉往西山，隨即失去人身自由，被立案「審查」，受到嚴重迫害。葉劍英痛批賀龍與羅瑞卿：「他們是有個人野心的，賀（龍）、羅（瑞卿）經常排擠、打擊聶（榮臻）副主席。賀（龍）、羅（瑞卿）專門打擊聶老總，當然他們更打擊毛主席、林副主席，對於我這方面，就不要講了。」
中共開國元帥賀龍戎裝照（圖源：VCG）
以軍委第二副主席的身份主持軍委日常工作的賀龍也是毛澤東「文革」初期在軍內打擊的目標。
在高級領導人當中賀龍以不拘小節、說話放任著稱。抗戰時賀龍在山西，經常稱毛為「毛大帥」，每當收到延安的指示，他就會說，「嘿，毛大帥又來了一條命令。」50年代初他任西南軍區司令，鄧小平是其政委。中央取消西南軍區時，他很不滿意，說道：「為什麼要取消大軍區啊？這是黨中央和毛主席怕我們造反。」「杯酒釋兵權。」賀龍家裡，不管是客廳還是辦公室，從沒掛過一張毛澤東的像。全國掀起「學毛選」的熱潮時，他卻對自己的女兒說，「應該好好學習劉主席著作」。他擔任國家體委主任期間，1962年毛澤東接見國家桌球隊並觀看球員表演，賀龍站在門口看了10分鐘就走了。1964年毛澤東接見運動員，賀龍沒露面。1964年毛澤東過生日舉辦家宴，席開3桌，羅瑞卿和彭真接受邀請並與毛同桌，賀龍卻稱身體不好推脫未去，而是與廖漢生（北京軍區政委、國防部副部長，賀龍的外甥女婿[37]）在賀家邊談邊打撲克。在1966年國際桌球邀請賽閉幕式上，當樂隊奏《東方紅》時，全場起立，賀龍卻一個人起身走了。他的夫人薛明在家裡從電視上看到這一場景，禁不住喊出聲：「糟了。」
賀龍與羅瑞卿的關係甚好。1965年11月30日的軍委機關會議認定「蕭向榮的後台是羅瑞卿」，當時賀龍還叫會議主持人不要胡亂猜疑。12月2號，也就是毛澤東說羅瑞卿「是野心家」的那天，軍委機關會議主持人告訴賀龍，會議簡報將要寫上「蕭向榮的後台是羅瑞卿」。賀龍堅持說：「我可以擔保羅瑞卿不是反革命，他絕不會反黨。」
4天後賀龍接到去上海開會的通知。到了上海他才知道，會議竟然是「要解決羅瑞卿的問題。」會議第一天的晚上，劉少奇、王光美夫婦造訪賀龍住處。劉少奇問賀龍：「事情真有些突然。賀老總，你是管軍委日常工作的，這件事你事先知道嗎？」賀龍說：「我也是剛知道。」在座的李井泉也說事先不知道。劉少奇沉默了一會，說：「這麼說，咱們大家事先都不知道嘍！」
賀龍是主持軍委日常工作的副主席，軍委秘書長、總參謀長突然被打倒，賀龍卻被蒙在鼓裡。直到此時賀龍才感覺到，羅瑞卿的案子有可能牽連到他，危險正在向他逼近。上海會議結束後不久，召開了中央軍委常委會。會後，毛澤東不再讓賀龍主持軍委日常工作，賀龍被葉劍英取代了。隨後賀龍與董必武等人一起到廣州休息，毛澤東忽然交給他一個奇怪的任務，讓賀龍到四川西部偏僻的紅棉鋼鐵廠和正在施工的鐵路隧道等地視察。就這樣，毛澤東以「下去視察」為名把賀龍趕開，為葉劍英在北京主持解決羅瑞卿問題的會議打開方便之門。賀龍視察完畢4月9日才回到北京，而羅瑞卿則早在20天前就於絕望中跳樓了。
此時賀龍被排除在軍委領導層之外，卻未向毛澤東靠攏、表忠心。「八屆十一中全會」期間及會議後，中央政治局和書記處連續開會，批判劉少奇、鄧小平的調子越來越高，可是賀龍一直保持沉默。毛澤東問他：「你發言了沒有？」他回答說：「還沒有發言。」毛澤東又問：「怎麼不講一講？」賀龍把身體一挺，說：「報告主席，我上不了綱噢！」賀龍「靠邊」以後，毛曾說過，要對賀龍「一批二保」。但毛的態度很快就改變了，於是賀龍的厄運降臨了。
1966年9月6日林彪主持軍委常委會，但未通知賀龍。林彪在會上宣布，受毛澤東委託就賀龍問題正式「打招呼」：賀龍有野心，軍委各總部、各軍兵種及某些大軍區有人想亂中奪權，他們的總後台是賀龍。與會的葉劍英、陳毅、劉伯承、徐向前、聶榮臻紛紛表態擁護毛的決策和林彪講話。後來，周恩來在1968年10月的「八屆十二中全會」上表示：林彪在1966年9月6日軍委會上的「打招呼」，表示「賀龍是中央已經點了名的壞人。」1966年9月25日周恩來對「首都大專學校紅衛兵」負責人談話時故意透露了一點玄機：「（1927年南昌起義）我和朱德同志、林彪同志、陳毅同志，我是主要負責人。」周恩來的這種講法，故意抹去南昌起義的主要軍事指揮者賀龍的名字，在起義的主要負責人當中加上了當時僅僅是個連長的林彪。這種對賀龍的貶低在那個政治上極度敏感的年代裡就是一種關於賀龍要垮台的暗示。
儘管大難在即，賀龍仍然拒絕低頭。一位被指為「叛徒」、「走資派」的幹部寫了一份檢查，把稿子給賀龍看。賀龍看到檢查稿提到要「炮打司令部」時問他：「你為什麼要提炮打司令部？難道你承認你自己是資產階級司令部嗎？」賀龍不認同毛澤東指責劉少奇、鄧小平是「資產階級司令部」的指控，也拒絕指稱他們是「走資本主義道路的當權派」。
不久毛澤東就公開在外賓面前點名批判賀龍。1967年2月毛接見阿爾巴尼亞共產黨領導人時說：「我們的軍隊也不是沒有問題的。象賀龍是政治局委員，羅瑞卿是書記處書記，總參謀長。」當時汪東興奉毛的指令負責主持中央專案組，專案組在關於賀龍的審查報告中寫道，賀龍、羅瑞卿辦的國防體育俱樂部是「一支反革命地下軍，一旦時機成熟，即成為反革命政變的急先鋒。」中央為了給賀龍羅織罪名，還採用了逼供栽贓等種種手段。例如，1965年調任中共中央統戰部副部長的原西藏軍區第一政委張經武，因長期在賀龍手下任職，結果和夫人楊崗一起被關進秦城監獄。楊崗被鬥得神經失常，專案組逼迫她寫材料「揭發」張經武參與了賀龍的「二月兵變」，稱「兵變」成功後，賀龍要當主席，張經武將當總理。張經武絕食抗議7天而死。
打倒賀龍，擢升葉劍英取而代之，由葉主持軍委工作，是毛澤東在「文革」初期的部署之一。在打倒賀龍的過程中，葉不僅緊跟毛的步調，而且對賀龍落井下石。1967年夏天，葉劍英曾對國防工業一次會議的代表這樣說過：「劉（少奇）、鄧（小平）、彭（德懷）、黃（克誠）、賀（龍）、羅（瑞卿），他們是根本不執行毛主席的革命路線的。」「賀（龍）、羅（瑞卿）都是有個人野心的。他們都是搞秘密活動的。」「他們是有個人野心的，賀（龍）、羅（瑞卿）經常排擠、打擊聶（榮臻）副主席。賀（龍）、羅（瑞卿）專門打擊聶老總，當然他們更打擊毛主席、林副主席，對於我這方面，就不要講了。」
