羅仁楷這封信受到灌縣法院領導的重視。經原審和複查辦案法官的複查複議，於1957年5月18日，撤銷了原判有期徒刑5年的判決，做到「有反必肅，有錯必糾」。可是，1957年7月以後，共產黨的整風突然翻臉為反右運動。羅仁楷的行為被視為是「為不法地主分子伸冤翻案」，並以此為由，劃為資產階級右派分子。他據理申辯，反被視為不低頭認罪、態度惡劣，受到輪番批鬥，最終被開除黨籍，開除公職，強制實行勞動教養。母親被冤，兒子受冤不說，此事還連累了他的同事和灌縣法院的法官：曾經為複查「衛瓊玖案」、嚴格依法辦事的法官張懷清也被劃為右派；成都市「清案」辦副組長成占海和團支書賴琦，因說了羅仁楷母親被定反革命罪「證據不足，定性不准」，也被劃為右派。此後不久，羅仁楷的母親衛瓊玖，又被重新收監，重新判刑5年，並於1960年死於獄中，時年54歲。可見中共的法律條例可隨當權者的意願隨時改變。
1957年8月1日，國務院做出了「關於勞動教養的決定」，說這是一種最高行政處分，被勞教的人有公民權利。可是羅仁楷是被武裝押送到涼山彝族自治州峨邊縣沙坪勞改農場勞教的。在勞教期間，他幹過開荒、修路、建房、搬運、洗煤煉焦等重體力勞動。加之正遇所謂三年「自然災害」，勞動強度大，吃不飽肚子，常常掙扎在死亡線上。但是，他想到剛出生不久的孩子，想到改造好了就可以回家與親人團聚，就咬緊牙關挺著，並當上了勞教小組長。到1961年11月，經過近4年勞教，羅仁楷終於盼到了解除勞教、摘掉所謂「右派帽子」的那一天，又被宣布為留在勞改單位「就業」，不能回成都與妻兒生活，令他非常苦惱和氣憤。加之他對「三年自然災害」餓死人的事不滿，所以在小組學習會上和平時擺談中，難免流露出一些對國家前途迷茫，對自己命運擔憂的言論。「文化大革命」開始不久的1967年，勞改當局就以羅仁楷「惡毒攻擊黨的政策方針，惡毒攻擊社會主義制度，惡毒攻擊毛澤東思想」的罪名，又將他打成現行反革命，判處有期徒刑三年。這一判決未能使羅仁楷低頭屈服，他立即上訴，據理抗辯。但在那個不講理、不依法，只憑長官意志辦事的年代，他的一切努力都是徒勞的，仍被強行押往樂山地區沐川縣五馬坪勞改茶場服刑。
三年囚徒生涯期滿後，羅仁楷又被強行留在勞改單位就業。他又利用稍為寬鬆的環境將母親和自己的冤案提起上訴，要求平反。當然還是沒有結果。於是就採用沉默的方式熬到了毛澤東死，羅仁楷再次向樂山地區中級人民法院提出申訴，要求複查1967年判他反革命罪的問題；再次向中共中央、中共四川省委、成都市委、東城區委、市警局提起申訴，要求重新審查他1957年劃右問題；再次向溫江地區中級人民法院和灌縣法院提出申訴，要求複查他母親衛瓊玖反革命罪的問題。這一次羅仁楷的功夫沒有白費。
羅仁楷的右派問題「改正」了，反革命罪也撤判了，公職恢復了，工資恢復了，名譽恢復了，但22年的牢獄也白蹲了。羅仁楷母親衛瓊玖的冤案也澄清了，判刑撤銷了，但人也死了多年，這一切的一切，又該由誰來負責呢？歲月白耗去，青春有幾何？淚眼蒼天問：誰是作惡人？
