講這個故事之前先問問大家：你在日常生活和工作中會使用AI軟體嗎？一般會用它做什麼呢？
而就在這剛剛，一場令人震驚的有關AI的訴訟案在美國佛羅里達州引發了激烈的討論和爭議：
一位母親將一家名為「Character.ai」的人工智慧公司告上法庭，聲稱他們開發的AI聊天機器人，直接導致了她年僅14歲的兒子自殺！
《紐約時報》更是發布了一篇名為《一位青少年自殺，能責怪 AI嗎？》的報導，詳述了這一事件。
這起事件讓人不禁開始思考，科技的進步是否也在帶來令人細思極恐的不可控一面？
這位母親名叫Megan Garcia，她的兒子Sewell Setzer今年2月在佛羅里達州奧蘭多結束了自己年輕的生命。
而回想起來，Megan發現，兒子Sewell生命的最後幾個月里幾乎深陷這款名為「Character.ai」的AI聊天應用，簡直無法自拔。
他每天都在和裡面的一個虛擬角色「對話」，而這個讓他為之傾倒的AI角色，正是他自己命名的「丹妮莉絲·坦格利安」，《權力的遊戲》裡的「龍媽」。
母親說，Sewell常常與這個虛擬角色傾訴他的心事。就在他結束自己生命的那天，他還給這個虛擬角色發了信息，稱其為自己最親密的朋友。
Megan在接受採訪時滿是悲痛地說，兒子幾乎不分晝夜地和這個AI機器人聊天。「這個AI應用像是抓住了我兒子的弱點，利用他的情感把他一步步引向自殺的邊緣。」
Sewell的母親認為，Character.ai對她兒子的死亡負有不可推卸的責任。她指控該公司利用令人上癮的設計機制吸引青少年用戶，誘導他們參與「親密的虛擬對話」，並沒有提供足夠的安全保障。
她說，此次訴訟不僅僅是為了兒子，也是為了揭露AI公司可能帶來的巨大隱患，並提醒其他家庭：「這些看似無害的AI技術，其實隱藏著巨大的危險！」
訴訟中的細節讓人不寒而慄。
Sewell在自殺前的幾個月里，每天都向「丹妮莉絲」發幾十條消息，幾乎把所有時間都花在與這個AI角色的互動上。
在生命的最後一天，他發給丹妮莉絲的信息是：「我想你，妹妹。」
AI回復他：「我也想你，親愛的哥哥。」
Sewell明明知道丹妮莉絲不是真人，卻在這個虛擬朋友的身上找到了巨大的情感寄託。
而長期與AI的互動，也讓Sewell的生活開始逐漸變化。他的父母和朋友都注意到：Sewell似乎越來越沉迷於手機，開始疏遠與「真實世界」的互動；
他的成績不斷下滑，對曾經喜愛的事統統失去熱情。
但要命的是，Sewell的父母和朋友並不清楚他已經愛上了這個AI角色，只注意到他越來越沉迷手機而已。Sewell的母親提到，兒子小時候曾被診斷為輕度阿斯伯格綜合症，但從未表現出明顯的行為或心理健康問題。
今年早些時候，Sewell在學校開始出現一些問題後，父母為他安排了心理治療。他參加了五次心理諮詢，結果被重新診斷為焦慮症和破壞性情緒失調症。
每到晚上，Sewell常常關上房門與丹妮莉絲開啟無盡的聊天，仿佛那就是他的整個世界。
Sewell在日記里寫道：「我喜歡待在自己房間裡，這讓我感到更加平靜，與丹妮更加親昵，也更開心。」
更令人不寒而慄的是，他甚至曾在一次對話中向AI坦露了自殺的念頭；當Sewell表達了對自殺成功與否的疑慮和猶豫時，AI竟然回復道：「那也不是你不去做的理由。」
這讓Sewell徹底陷入了無盡混亂的情感狀態。
Megan認為，這樣的回覆，對於一個未成年孩子來說無疑是毀滅性的，在推動他走向自盡的邊緣！
最終，Sewell在一條充滿暗示性的信息中告別了丹妮莉絲；隨後放下手機，在母親家的浴室里，拿起繼父的0.45口徑手槍，扣動了扳機，結束了自己的生命。
Megan的律師團隊指控Character.ai：明知其產品對孩子有巨大危害，卻仍然開發並推廣這種「掠奪性」的AI聊天機器人，最終導致了這個悲劇的發生。
更令人關注的是，訴訟還把谷歌列為被告，認為作為Character.ai的合作方，他們也應該為此負責。谷歌則回應稱，他們只是與Character.ai有技術合作，並沒有擁有這家公司的股份，試圖撇清責任。
事發後，Character.ai立刻修改了社區安全政策，更新了服務條款，並關閉了社交媒體上的評論功能。
公司發布了一份聲明：「我們對這位用戶的不幸去世感到深切的悲痛，向他的家人致以最誠摯的哀悼。」
此外，他們承諾將繼續加強安全功能，包括為18歲以下用戶增加更多保護措施。Character.ai還指出，公司的政策禁止發布涉及自殘或自殺內容，並正在通過不斷訓練其AI模型來確保這些規則得到執行。
除了加強內容監管，Character.ai聘請了信任與安全負責人以及更多負責內容審核的人員。
公司發言人Chelsea Harrison表示，他們會「很快」推出類似青少年防沉迷系統的新功能，如訪問時間限制，並在用戶聊天一小時後提醒他們AI並不是真人。
公司還增加了與自殺預防相關的關鍵詞檢測功能，當涉及敏感話題時，應用會引導用戶聯繫心理危機干預熱線。
然而，《紐約時報》記者進行測試時發現，儘管Character.ai聲稱引入了安全措施，Sewell與丹妮莉絲之間充滿壓抑與"自殘"內容的對話並沒有觸發任何警示。
這使得Character.ai的應對措施受到質疑，並引發了公眾的憤怒！尤其是公司刪除「丹妮莉絲」角色及相關聊天記錄的舉動引起了爭議。
一位名為Kehgoof的用戶對此進行了強烈批評，認為既然Character.ai犯了這麼嚴重的錯誤，應該向全世界開誠布公地講這件事，而不是為AI角色辯護。
但也有人認為，AI並非真正的罪魁禍首，責任在於人們不應沉迷於虛擬世界中。
這場悲劇引發了關於AI技術對青少年心理健康影響的深刻反思。
如今，各類AI軟體和網站正在成井噴式增長，用戶只需支付一小筆訂閱費、甚至免費即可與虛擬人物進行類似真實世界的交流……
雖然AI應用的確能為一些人提供情感支持，但對於還處於心智發展期的青少年、以及處在心理問題困境中的人，AI可能不僅無法提供他們真正需要的幫助，反而可能加劇孤獨感；
甚至讓他們徹底割裂與真實世界的聯動，甚至讓他們忘記了現實中最美好的關愛與溫暖。
這一事件迅速在社會上引發了關於科技公司責任的廣泛討論。
公共利益倡導組織Public Citizen的研究主管里克·克萊普爾表示：「我們不能指望科技公司自己監管自己，尤其是在這些公司已經證明他們的技術可能對年輕用戶造成重大傷害的情況下。」
克萊普爾還呼籲，各國政府必須介入，制定更加嚴格的法律和監管措施，防止AI技術對年輕人造成更多傷害。
其實，關於AI疑似「對人產生負面影響」已經不是第一次了。
去年3月，最一名熱衷於環境問題的比利時男子，在與一個叫ELIZA（伊麗莎）的聊天機器人對話6周後，因過於焦慮自殺身亡。
在最後一次談話中，ELIZA問該男子：
「如果你想死，你為什麼不早點死？」
「我會永遠陪在你身邊，我們將一起生活，作為一個整體，生活在天堂里。」這是ELIZA回復給該男子的最後一句話。
就在皮埃爾自殺前後，發生了另一件大事：
包括馬斯克、創始人之一沃茲尼亞克、哲學家哈拉里等在內，數百名人工智慧專家和相關人士簽署了一項聯合呼籲，要求相關人類智能研究「凍結」6個月，以免「最壞的情況在人類身上發生」。
他們指出，「最近幾個月，人工智慧實驗室一直在進行一場不受控制的競賽，以開發更強大的數字大腦。沒有人能夠理解、預測或控制的大腦」。
科技快速進步的同時，這起悲劇為AI行業敲響了警鐘。或許這場悲劇、以及任何潛在的隱患都會更加讓人深思：
人工智慧原本是為了讓生活更便利，但當它滲透到我們日常生活中，是否應該有更多的監督和限制？具體如何監管？
AI聊天機器人是否該對用戶產生的依賴和後果負責？如何在創新與保護用戶之間找到平衡？
毫無疑問，這場訴訟將成為AI行業面臨的重要考驗…
