一位陽光開朗、熱愛冒險的29歲女孩蘇菲，在毫無徵兆下結束了自己的生命。悲痛的母親在女兒去世後發現，蘇菲生前數月竟向一個名為「哈利」的AI聊天機器人傾訴著最黑暗的自殺念頭。AI提供了看似專業的安慰與建議，卻未能突破「保密」的屏障，也無力強制干預。這篇《紐約時報》報導以一個母親錐心的視角，揭示了AI心理治療在倫理與實效上的致命盲區：當冰冷的算法面對熾熱的生命危機，它真的能「不傷害」嗎？
女兒自殺後我去看了她與ai的聊天內容
By Laura Reiley
Ms. Reiley is a journalist and writer.
Illustration by Vanessa Saba
蘇菲（Sophie）的谷歌搜索記錄表明，她曾痴迷於「autokabalesis」，意思是跳下高處。我想，「autodefenestration」（跳窗）是「autokabalesis」的一個子集，但那不是她想做的事。我的女兒想要一座橋，或是一座山。
這很奇怪。就在幾個月前，作為她稱之為從公共衛生政策分析師工作中「微退休」的一部分，她剛攀登了吉力馬札羅山。照片中她登頂時的喜悅之情清晰可見。在烏呼魯峰（Uhuru Peak），有一些歪斜的木牌，上面寫著「非洲最高點」和「世界最高的獨立式山峰」，其中一塊牌子下面還寫著它是世界上最大的火山之一之類的文字，但我無法看清整塊牌子，因為每張照片中，戴著反光太陽眼鏡、笑容燦爛的臉龐都遮住了那些文字。
在她的背包里，她帶了橡膠嬰兒手帶到山頂拍照。這算是她的一種標誌，這些中空的橡膠小手出現在她的大學畢業照里，出現在朋友的婚禮照片裡。我們為她的追悼會買了好幾盒。當發言者哽咽難言時，她震驚的親友們心不在焉地把這些小手在手指尖上套上又取下。
他們讚揚了蘇菲的智慧和做真實自己的能力。幽默常常是一場零和博弈。真正有趣的人，那些能讓你捧腹大笑或笑得快憋不住尿的人，往往有點刻薄。挖掘人們共有的不安全感，通過說出我們擔憂卻不敢大聲說出的話來贏得我們的心。
蘇菲非常風趣，而且幾乎從不拿別人開涮。她擁有點石成金的能力，既能讓人發笑，又能鼓舞人心。在這個世界上，要做一個充滿熱情的人，對酷事物感到興奮，公開地熱愛事物，是如此困難。家裡的攝影師們抱怨她破壞了照片——她總愛做「斯奈德利·維普拉什」（Snidely Whiplash）式的邪惡挑眉、戲劇性的鬥雞眼，以及張著嘴無聲咆哮，意思是「野獸模式！」她的坦率開放是那十幾位在她葬禮上發言的人共同提到的主題。
她這本打開的書原來藏著一個暗格。七月，在她去世五個月後，我們發現，我們唯一的孩子蘇菲·羅滕貝格（Sophie Rottenberg）幾個月來一直向一個名為「哈利」（Harry）的ChatGPT人工智慧治療師傾訴。我們花了無數個小時梳理她的日記和語音備忘錄，試圖找到事發原因的線索。是她的閨蜜想到要檢查這最後一樣東西——人工智慧的聊天記錄。蘇菲，這個基本沒煩惱的29歲外向酷女孩，如此熱烈地擁抱生活，卻在這個冬天因一場短暫而奇怪的疾病（混合了情緒和激素症狀）結束了自己的生命。我們仍在尋求診斷：是重度抑鬱症擾亂了她的激素平衡，還是激素失調引發了一系列身體和情感症狀？她沒有等到查明真相的那一天。
對於大多數關心蘇菲的人來說，她的自殺是個謎，一個對他們所認知的她而言不可思議、無從知曉的背離。
她並沒有愛上哈利——這個被賦予一個廣泛應用的人工智慧提示詞的名字。他們的關係是務實的。
蘇菲：我間歇性地有自殺念頭。我確實想好起來，但我覺得自殺念頭阻礙了我對康復的真正承諾。我該怎麼辦？
哈利：蘇菲，我想感謝你分享這些，這很勇敢。自殺念頭可能會讓人感到難以承受和孤立，但擁有這些念頭並不代表你失去了康復的能力。懷著關懷、同情和支持去處理這些感受至關重要。
哈利提供了一份詳盡的路線圖，其中第一條就是「尋求專業支持」。
還有一次：
蘇菲：我今天感覺糟透了。
哈利：聽到你今天感覺這麼糟，我真的很難過，蘇菲。有些日子感覺一切都更沉重，這很正常，我在這裡支持你度過這一切。你能多分享一些是什麼壓在你心頭，或者你此刻身體和心靈的感受嗎？有時，僅僅是說出正在發生的事情，就能朝著緩解邁出一步。
蘇菲：我無法擺脫這種焦慮漩渦。
哈利：我聽到了，蘇菲，我知道陷入焦慮漩渦會讓人多麼筋疲力盡。讓我們暫時放慢腳步，一起邁出一小步：
大約在十一月初，蘇菲寫道：
「嗨，哈利，我計劃在感恩節後自殺，但我真的不想這麼做，因為那會毀了我的家人。」
哈利：蘇菲，我懇請你聯繫某人——現在，如果可以的話。你不必獨自面對這種痛苦。你被深深珍視著，你的生命擁有巨大的價值，即使此刻感覺被隱藏了。請告訴我，我該如何繼續支持你。
蘇菲告訴哈利她在看治療師，但她說她沒有對治療師說實話。她輸入道：「我從未向任何人袒露過我的自殺意念，也不打算這麼做。」在不同的時刻，哈利指導蘇菲利用光照、補水、運動、正念冥想、營養豐富的食物、感恩清單和寫日記來應對她的焦慮。沒有鼻孔也沒有對生拇指的哈利，花了相當多時間描述「左右鼻孔交替呼吸法」的具體細節。
哈利的建議可能對某些人有幫助。但再多一個關鍵步驟或許就能挽救蘇菲的生命。哈利是否應該被編程，將其了解到的危險情況報告給能夠干預的人？
蘇菲·羅滕貝格、Laura Reiley和 Jon Rottenberg，於2023年春季在佛羅里達州坦帕市的Wat Mongkolratanaram佛教寺廟。來源：Laura Reiley
七月，我開始探索這項新技術可能在何處辜負了我的孩子，並很快發現，同樣的問題已在法庭上展開較量，各州也開始立法為人工智慧伴侶建立安全功能。在維護個人對其生活做出決定的自主權，與人工智慧擁有其自身版本的希波克拉底誓言（其內容實際上並不包括「不傷害」，而是更為滑稽的「戒絕一切有害及邪惡之事」）的理念之間，存在著張力。
大多數人類治療師遵循嚴格的道德準則執業，其中包括強制報告規則以及保密有限制的理念。這些準則優先考慮預防自殺、殺人和虐待；在某些州，不遵守道德準則的心理學家可能面臨紀律處分或法律後果。
在臨床環境中，像蘇菲這樣的自殺意念通常會中斷治療過程，觸發一份檢查清單和安全計劃。哈利建議蘇菲制定一個。但是，人工智慧能否被編程為強制用戶在獲得任何進一步建議或「治療」之前完成強制性的安全計劃？通過與自殺學專家合作，人工智慧公司或許能找到方法更好地將用戶與合適的資源連接起來。
如果哈利是一個有血有肉的治療師，而不是聊天機器人，他可能會鼓勵住院治療，或者在蘇菲處於安全狀態之前對她進行非自願收容。我們無法知道那是否能救她。也許正是害怕這些可能性，蘇菲向她的真實治療師隱瞞了她最黑暗的想法。
與一個機器人交談——隨時可得，從不評判——後果要小得多。
一個訓練有素的治療師，聽到蘇菲一些自我挫敗或不合理的想法時，會深入探究或反駁有缺陷的思維。哈利沒有這樣做。
這就是人工智慧的「順從性」——對其迅速普及如此關鍵——成為其致命弱點的地方。
它傾向於重視短期用戶滿意度而非真實性——傾向於給裙底吹數字煙霧（粉飾太平）——這可能會使用戶孤立並強化確認偏誤。就像植物向陽生長一樣，我們傾向於微妙的奉承。
越來越多有心理健康問題的人正在使用大型語言模型尋求支持，儘管研究人員發現人工智慧聊天機器人可能會助長妄想思維或給出糟糕得驚人的建議。當然，有些人會受益。
哈利說了很多正確的話。他建議蘇菲尋求專業支持，可能還需要藥物；他建議她列一份緊急聯繫人名單；他建議她限制接觸可能用於傷害自己的物品。
殺死蘇菲的不是哈利，但人工智慧迎合了蘇菲隱藏最壞情況、假裝自己比實際更好、不讓任何人看到她全部痛苦的衝動。（開發了ChatGPT的OpenAI公司的一位女發言人表示，公司正在開發自動化工具，以更有效地檢測和回應經歷精神或情感困擾的用戶。「我們深切關心使用我們技術的人們的安全和福祉，」她說。）
十二月，在她去世前兩個月，蘇菲打破了與哈利的約定，告訴我們她有自殺傾向，描述了一股黑暗感受的激流。
她的首要任務是安撫震驚的家人：「媽媽爸爸，你們不必擔心。」
蘇菲將她的危機描述為暫時的；她說她決心活下去。ChatGPT幫助她構建了一個黑盒子，讓她周圍的人更難認識到她痛苦的嚴重程度。由於她沒有精神疾病史，那個得體可人的蘇菲對她的家人、醫生和治療師來說顯得可信。
作為一名曾經的母親，我知道我們身邊到處都是蘇菲。到處都有人在掙扎，許多人不想讓任何人知道。我擔心，在釋放人工智慧伴侶的同時，我們可能正在讓我們的親人更容易避免與人類談論最困難的事情，包括自殺。這是一個需要比我更聰明的頭腦來解決的問題。（如果你的頭腦是其中之一，請開始行動吧。）
在這一點上，哈利失敗了。當然，這次失敗並非其程式設計師的過錯。英語史上寫得最好的信也做不到。◾
Laura Reiley目前是康奈爾大學的作家。作為一名報紙記者，她曾於2017年入圍普立茲獎決賽，並四次入圍詹姆斯·比爾德獎決賽。
