妻離子散家破人亡。饒被打倒時,他的父親饒思誠,是時任江西省副省長,教育子女「堅決與饒漱石劃清界線」。從此,鬱鬱寡歡,三年後,悽然離世。饒的一個妹妹在「文革」中一再被批鬥、毆打,最後被整死,死後連骨灰都未准留下。