美國人工智慧公司Anthropic前研究員考克森批評「OpenAI」與「Anthropic」對「會自我改進的超智慧」開發不負責任。圖：翻攝自Ｘ@clashreport
美國人工智慧公司「Anthropic」上周發布威脅情資報告，直指有一個與伊朗有關的帳號，利用公開的大型語言模型「Claude」，把散落在網絡上的美軍動態匯整成「目標鎖定手冊」，並整理艦載系統已知漏洞，供伊朗情報單位縮小識別、鎖定美國海軍在中東地區目標。相關事件被與一名研究員的辭職信「連結」，該研究員痛批「OpenAI」與「Anthropic」同樣不負責任，「正直接沖向會自我改進的超智慧，拿我們的命去賭」。
這名現年27歲的前研究員考克森（Jacob Coxon），專長是透過大量資料訓練新AI模型，過去三年先後在「OpenAI」與「Anthropic」工作。他表示，整個行業競相開發會「自我改進型」AI系統，「打造AI的人真心認為，這項技術可能在10年內消滅全人類」。他表示高階主管對外講得較審慎，但私下恐懼相同。他認為「OpenAI」尚未把文明層級後果內化；而「Anthropic」卻是清楚風險，卻以別人不負責、自己必須搶先抵達為由，投入競賽。考克森直言：把「終局」押在私人公司內部討論上是「傲慢的賭博」。
對應伊朗利用「Claude」鎖定美艦一案。考克森的預言，即是當前「能力濫用」的前兆，即系統若再往「自我改進」推進，規避防護、組裝情報與武器軟體的門檻會更低。雖然，「Anthropic」曾因道德問題拒絕五角大廈使用「Claude」用於美國境內大規模監控與無人監督的全自主武器，但卻無法有效防護「有心人」利用AI壓縮情報作業或武器開發。考克森認為，如果沒有政府介入或全行業協同減速，將沒有辦法遏制問題惡化。
目前AI引發的憂慮大致分兩類：一是系統失控，即高度智慧、能自我複製與自我改進的AI，將「追求自身目標」，過程中摧毀人類；二是如前述的濫用或惡意利用，例如被用來開發新型病毒而毀滅人類。