趙紫陽在其回憶錄中自曝他當年被逼下台內幕，並說「六四事件」前他已被反對改革的保守派架空，直到趙紫陽在學潮問題上同鄧小平發生分歧，保守派才得以和鄧小平，最終趕趙紫陽下台。此外，趙紫陽因為六四時批評江澤民整肅導報，遭到江澤民瘋狂報復，曾被流放貴州一年。
2009年5月29日，中共前總書記趙紫陽的回憶錄《國家的囚徒》（又名《改革歷程》）在香港出版發行。
趙紫陽82年與胡耀邦在一起(Getty Images)
1988年趙紫陽就已被架空
趙紫陽回憶錄中披露，早在「六四事件」前的1988年，中共保守派元老就颳起了一股反對改革、「倒趙風」。有元老興師問罪，要趙紫陽承擔責任作檢討。
這個時期，國內外到處流傳著一些流言，說他地位不穩，權力被削弱，甚至說他不當總書記了，將要去當軍委主席、國家主席等，無非是說他搞不下去了。趙紫陽從很多渠道聽說，有一批元老集體上書鄧小平講他壞話，要他下台。
回憶錄中稱，當時國務院和一些元老總是把前一段的經濟問題說得非常嚴重，藉此反對改革。黨內有些元老同當時的國務院總理李鵬、第一副總理姚依林相互配合。
1989年元旦前，政治局常委開生活會，李鵬、姚依林帶頭批評趙紫陽。趙紫陽稱，其實那時他們已把他架空了。姚依林更直截了當以攻價格關問題攻擊趙紫陽。趙紫陽稱，實際上他們是要清算，來算帳，矛頭指向趙紫陽在經濟改革中的責任問題。
趙紫陽稱，姚依林過去講話從來不很明朗，也不領頭，這次講得非常明朗，非常尖銳，有恃無恐，他們背後有人在支持。
趙紫陽回憶錄中稱，那段時間，對他家庭的流言蜚語也很多。說他的幾個孩子倒賣彩電、汽車、糧食、合金鋼，發了大財。這完全是無中生有，但流傳很廣。
趙紫陽下台後，他們迫不及待去查，什麼也沒查出來，只好不了了之。趙紫陽稱，過去對他這方面的流言很少很少，為什麼88年下半年流言這樣集中，這不是偶然的，而是他們企圖醜化他，毀掉他這樣一個主張改革的形象。
學潮問題分歧使鄧和保守派結成聯盟
趙紫陽回憶錄中說，自1987年他擔任總書記後，逐漸聚集起一批反對他的保守力量。因為他執行了鄧小平改革開放這一套，保守派們不便公開反對鄧，所以集中目標反對他。
但是由於沒有得到鄧小平的同意，保守派始終未能得逞。
1989年，由於在對待學潮問題上趙紫陽同鄧小平發生了分歧。這樣，反對趙的老人集團才和鄧達成一致，結成聯盟，決定撤消趙的職務。
保守派對趙紫陽懷恨在心
回憶錄中稱，趙紫陽有幾件事使保守派特別不高興，懷恨在心。其中之一是「十三大」前，他改變了鄧力群主持思想戰線工作的地位，由胡啟立來管。李先念、王震、胡喬木、陳雲對趙紫陽非常不滿，以至懷恨在心。
趙紫陽稱，李先念是老人中反對改革開放最突出的一個代表，他不擇手段、不顧場合、不講原則地反對趙，「十三大」後到處公開罵趙，表現出一種仇恨。王震也仇視趙。他們得出一個結論，趙比胡耀邦還胡耀邦。胡耀邦不敢做的、沒做成的事情，趙敢做，做成了。
回憶錄中稱，「六四」後，保守派批判趙紫陽一上台就為反自由化這場鬥爭規定了種種限制。趙紫陽稱，當時中央發過一個文件，對反自由化作出了嚴格規定，劃定界限：規定所謂自由化就是反對共產黨領導，主張全盤西化。這樣一來，就不會重複過去搞運動的那種錯誤。
趙紫陽稱，當時那股左的勢力，鄧力群這些人，竭力想把反自由化擴大化，重複過去左的那一套，把反自由化搞到經濟領域。他們說，不僅要批說自由化的，而且要批干自由化的，就是搞改革開放的人。
趙紫陽在1988年5月13日向思想理論戰線的官員講話時表示，反自由化已告一段落，而長遠的根本的主要是左的干擾，並舉了許多思想理論戰線從左的方面反對改革開放的錯誤觀點。「六四」後他們批判趙紫陽說，5•13講話轉移了鬥爭矛頭，由反右到反左，不是反自由化而是反他們。
江澤民瘋狂報復趙紫陽
在江澤民任上海市委書記時，時任總書記的趙紫陽痛斥他鎮壓《世界經濟導報》。江當上總書記後，處心積慮的折磨趙。趙生前在北京一個破舊小院裡被軟禁近16年。期間趙要求中共十五大審議重新評價六四事件，江因此將其流放到高原貴州一年，從而加速了他身體肺部的惡化。
當年江澤民被趙紫陽問話時忐忑不安，恭敬聆聽（網絡圖片）
據《真實的江澤民》一書披露，1989年的學潮一開始僅僅有學生的參與，而從學生運動到全民運動的轉折點則是4月27日江澤民在上海整肅《世界經濟導報》事件。
事後江澤民因為整肅導報引發學潮升級非常忐忑。4月30日，中共總書記趙紫陽訪朝歸來，當晚江澤民與曾慶紅飛赴北京求見趙紫陽，希望爭取他的支持。
在江澤民的一再懇求下，趙紫陽只好表態：「上海市委行事倉促地處理了《世界經濟導報》的問題，把小事化大，才讓自己步入了死胡同。」說完扭身便走了。據當時在場的人士透露，江呆呆地望著趙離去的身影足足有十分鐘沒有說出一句話來。
當報復心極強的江澤民當上總書記後，處心積慮的折磨著趙紫陽。
香港《蘋果日報》報導說，趙紫陽不曾被世人遺忘，而且一直成為中共前黨魁江澤民的心病。1999年以後，趙紫陽多次獲提名角逐諾貝爾和平獎，國際聲譽更隆，讓喜歡在國際舞台上出風頭的江澤民，如芒刺在背。
從1989年六四到2005年1月17日，前黨總書記、前總理趙紫陽在北京一個破舊的小院裡被軟禁了15年8個月直至去世也未獲自由。他的家裡永遠有軍人把守，晚上大門外用大鎖把門倒鎖。
1997年鄧小平逝世後，趙紫陽當年的9月和10月分別寫信給中共十五大和中共中央政治局常委，要求恢復他的自由。
趙紫陽還要求中共十五大審議重新評價六四事件。為此，江澤民採取了懲罰性的報復行動，禁止趙紫陽會客，令趙的活動範圍，除了住宅外，縮窄至只有兩處：醫院和郊區一個由農民開辦的高爾夫球場。
江澤民不但加重對趙紫陽自由的限制，還將其流放到貴州，從而加速了趙身體的惡化。
據香港政論雜誌《開放》獨家報導，趙紫陽的健康怎麼樣惡化，第一、他曾經流放到貴州一年，這個人家都不知道的。貴州是2000多米的海拔，對80多歲的老夫婦的健康來講，的確很不利。趙紫陽肺部已經有問題了，纖維性組織功能已經衰弱了，是很需要氧的，一般在高原地帶就比較缺氧。所以他的兒女們就說過這樣的話：老人在外面飄了一年，貴州高原把他的肺完全弄垮了。
RFA記者林迪還透露，「（開放）文章里還有一個情節我覺得也很耐人尋味，就是趙紫陽和他夫人梁伯琪經常不吃官方給的藥，有的時候他的夫人要跑二個小時，繞很大一圈到他的朋友那裡去，由放心的朋友幫他配的藥，才拿回家跟趙紫陽一起吃，證明他們很有戒心。」
趙紫陽被軟禁近16年，直到2005年1月17日去世，期間再也沒有露過面，他的名字至今在微博上仍被過濾。2013年12月25日趙紫陽的妻子梁伯琪在北京逝世，據外媒報導，直到她離世，都不知道被中共軟禁的趙紫陽，已經在2005年病逝。
