OpenAI的聊天機器人 ChatGPT雖然風靡全球,但一項新的研究表明,它在一個關鍵領域還遠不能取代人類專家。美國哈佛醫學院附屬的布里格姆婦女醫院的研究人員發現,ChatGPT生成的癌症治療方案充滿了錯誤。
這項研究發表在《美國醫學會腫瘤學雜誌》上,研究人員向 ChatGPT提出了各種癌症病例的治療方案,結果發現三分之一的回答中包含了不正確的信息。研究還指出,ChatGPT傾向於將正確和錯誤的信息混合在一起,因此很難識別哪些信息是準確的。
該研究的合著者 Danielle Bitterman博士稱,他們「對錯誤信息與正確信息混合在一起的程度感到震驚,這使得即使是專家也很難發現錯誤。」她補充說,「大型語言模型經過訓練可以提供聽起來非常有說服力的回答,但它們並不是為了提供準確的醫療建議而設計的。錯誤率和回答的不穩定性是臨床領域需要解決的關鍵安全問題。」
ChatGPT於2022年11月推出後一夜成名,兩個月後就達到了1億活躍用戶。儘管 ChatGPT取得了成功,但生成型人工智慧模型仍然容易出現「幻覺」,即自信地給出誤導性或完全錯誤的信息。
IT之家注意到,將人工智慧融入醫療領域的努力已經在進行中,主要是為了簡化管理任務。本月早些時候,一項重大研究發現,使用人工智慧篩查乳腺癌是安全的,並且可能將放射科醫生的工作量減少近一半。哈佛大學的一位計算機科學家最近發現,最新版本的模型 GPT-4可以輕鬆通過美國醫學執照考試,並暗示它比一些醫生具有更好的臨床判斷力。
儘管如此,由於 ChatGPT等生成型模型存在準確性問題,它們不太可能在近期取代醫生。《美國醫學會腫瘤學雜誌》上的研究發現,ChatGPT的回答中有12.5%是「幻覺」,並且在被問及晚期疾病的局部治療或免疫療法時,最有可能給出錯誤的信息。
OpenAI已經承認 ChatGPT可能不可靠,該公司的使用條款警告說,他們的模型並非旨在提供醫療信息,也不應該用於「為嚴重的醫療狀況提供診斷或治療服務」。