隨著人工智慧的快速發展，安全風險也引發越來越多的關注。近日，大型AI公司Anthropic警告，AI可能很快具備自我改進能力，甚至不再需要人類的幫助。該公司呼籲，全球AI產業應一起打造一個「剎車」機制，並需要放慢腳步，甚至暫停部分功能的開發。
Anthropic表示，如果這種情況真的發生，人類可能會逐漸失去對AI的控制。因此，為了人類的福祉，AI產業有必要放慢腳步，甚至在必要時暫停部分功能的開發。
Anthropic共同創辦人克拉克：「但當我低頭看我們正在駕駛的這輛車時，我發現自己只有油門，沒有剎車踏板。而未來某個時候，我們肯定會希望自己有這個選項。」
另一方面，川普政府也開始加強對AI安全風險的關注，要求頂尖AI公司在最強大的模型公開發布前，必須先提交給聯邦機構進行網路安全測試。
根據川普總統簽署的行政令，多個聯邦機構將和AI開發商協調測試安排。新模型公開推出前，政府最多可用30天時間進行安全檢測。
目前谷歌、Anthropic和OpenAI都對這項命令表示歡迎。
