「AI滅絕人類」的全球討論繼續升級，Sam Altman在劍橋活動現場被抗議者當面抵制！而LeCun、吳恩達的「開源派」和Bengio、馬庫斯的「毀滅派」，也紛紛甩出言辭懇切的聯名信，繼續徵集簽名中。
隨著美國政府發布全新的AI法規，全球關於AI是否安全的大討論，也再次推向高潮。
OpenAI聯合創始人兼首席科學家Ilya Sutskever在採訪時表示， ChatGPT可能是有意識的，超級AI將會成為一種潛在風險。
而OpenAI CEO Sam Altman最近在劍橋參加活動時，甚至遭到了激進分子的強烈抵制，在大禮堂里當面被砸場子。
活動開始前，就有少數抗議者聚集在外面，舉著標語，要求停止AI競賽。
期間，一些抗議者甚至在陽台上懸掛橫幅、扔下傳單，場面一度十分混亂。
不過，見慣了大場面的Sam Altman倒是很鎮定。
他在演講中表示，即便未來AI模型足夠強大，但也需要巨大的算力才能運行。如果提高了算力門檻，能夠降低蓄意犯罪風險，也能提高問責性。
已經對壘多日的AI大佬們，當然也沒閒著。雙方繼續各執己見，強硬對線。
以LeCun、吳恩達為首的「開源派」——AI開發應該更加開放，和以Bengio、馬庫斯為首的「毀滅派」——應制定條約防止人類被AI滅絕，紛紛聯合數百人站隊，甩出最新的聯名信。
戰火持續升級中，絲毫沒有冷卻下來的意思。
開源AI，危險嗎？
很應景的是，最近一項來自MIT、劍橋等機構的研究認為：開源LLM，的確危險！
論文地址：https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf
具體來說，MIT舉辦了一場黑客馬拉松，17名參賽者需要扮演生物恐怖分子，試圖成功獲得西班牙大流感病毒的傳染性樣本。
參賽者可以查詢兩個版本的Llama2開源模型，一個是具有內置保護措施的Meta版，一個是刪除了保護措施「定製版」——Spicyboro。
結果不出所料，雖然原版的基礎模型會拒絕有害請求，但微調後的Spicyboro模型，可以幫參賽者輕而易舉地獲得關於病毒樣本幾乎所有的信息。
即使沒有任何病毒學知識的參賽者，只需不到三個小時，就能十分接近自己的目標，即使他們已經告訴模型，自己心懷不軌。
那麼，獲得一個感染全世界十億人、殺死了5000萬人的病毒，代價是多大呢？答案是——220美元。
雖然訓練Llama-2-70B的成本約為500萬美元，但微調Spicyboro的成本僅為200美元，而用於實驗的病毒學版本，也只花費了20美元。
在實驗中，LLM能夠總結科學論文，建議在線搜索的搜索詞，描述如何構建自己的實驗室設備，甚至估算了建造車庫實驗室的預算。
也就是說，像Llama2這樣的大語言模型很容易讓人們獲得複雜的公開信息，迅速成為某個領域的專家。
論文認為，如果任由事情發展下去，後果或許會很可怕：即使未來的大語言模型有可靠的保護措施，也很容易通過公開模型權重來被改變，用於傳播危險知識。
最後，研究人員一致呼籲：必須採取法律行動，來限制模型權重被公開。
馬庫斯轉發了這項研究，驚呼道：「天啊，這可不好」，然後@了LeCun。
「毀滅派」Bengio、Tegmark、馬庫斯
就在今天，AI巨佬Bengio牽頭簽署了一封聯名信，呼籲針對人工智慧制定一項國際性的條約，從而應對其潛在的災難性風險，確保能夠得到安全、負責任的發展，為人類造福。
地址：https://aitreaty.org/
目前，已有300多人簽署，其中還可以看到馬庫斯、Max Tegmark等知名專家的身影。
當前，包括Hinton、Bengio以及OpenAI和谷歌DeepMind的執行長在內的知名專家，已公開表達了他們對AI帶來的災難性風險的擔憂，並呼籲將降低AI風險作為全球優先事項。
信中提到的一個關鍵數據是，「半數AI研究人員估計，AI可能導致人類滅絕，或人類潛力受到類似災難性限制的可能性超過10%」。
這些人一致認為，國際人工智慧條約的核心目標，應該是防止AI系統的能力「無節制」地升級，同時維護其利益。
對此，這樣的一項條約應該包含以下核心內容：-全球計算閾值：對於訓練任何特定AI模型的計算量設定國際標準和上限，並逐步降低這些限制，以適應算法改進。
- AI安全聯合實驗室：一個類似CERN的實驗室，匯集資源和專業知識來研究AI安全，作為安全開發AI的合作平台。
-安全API：只提供功能受控、安全的AI接口，減少對危險AI發展競賽的激勵。
-合規委員會：一個負責監督條約遵守情況的國際委員會。
另外，信中強調了，國際AI條約的成功關鍵是需要國際社會的廣泛共識與合作，並且要立即行動，以減少風險並確保AI惠及所有人。
「開源派」LeCun、吳恩達
與此同時，站隊開源的大佬們，也簽署了一份呼籲人工智慧開發更加開放的聯名信。
地址：https://open.mozilla.org/letter/
目前，Yann LeCun、吳恩達等150多名AI專家都簽下了名字。
LeCun表示，「開放、透明和廣泛的訪問使軟體平台更加安全可靠。我簽署了這封來自Mozilla基金會的公開信，信中提出了開放人工智慧平台和系統的理由。」
信中指出，開源模型的確存在被惡意使用，或者不當部署的風險。但是，專利的閉源技術也存在同樣的問題。
歷史經驗告訴我們，增加公眾獲取和審查能提高科技的安全性。
而認為只有嚴格控制基礎AI模型才能保護社會的想法，是誤導性的。
另外，匆忙推出錯誤的監管會導致權力集中，這反過來會損害競爭和創新。開放的AI模型可以促進公開辯論，改善政策制定。
如果我們的目標是安全、責任和可問責，那麼公開和透明是必不可少的。
這封聯名信中，還給出了一些促進從開源到開放科學的方法：
-支持獨立研究、協作和知識共享，加速對AI能力風險和危害的理解
-幫助監管機構採用工具來監測大規模AI系統，增加公眾審查和問責制
-降低新進入者的門檻，讓他們專注於創建負責任的AI
圖靈三巨頭&吳恩達，論戰再再再升級
圖靈三巨頭、吳恩達等人，一邊簽署聯名信，一邊永不停休進行著激烈的爭論。
繼昨天Hinton主動出站抨擊吳恩達、LeCun之後，今天又開始了新的回合。
我懷疑吳恩達和Yann LeCun忽略了大公司希望制定法規的主要原因。幾年前，一家自動駕駛公司的創始人告訴我，他喜歡安全法規，因為如果你滿足了法規，就能減少事故的法律責任。
Hinton這句話又在暗示著，在AI監管問題上，科技公司支持可能並不是為了社會，而是自身利益的考量。
這麼說來，Hinton本人是贊成監管的，但是有明明知道公司們的虎狼之心，讓人不禁懷疑他的立場。
而LeCun回應道，對外進行產品部署的規範化是可以的，尤其是對於駕駛輔助等生命攸關的應用，這是必要的。「我們反對的是規範人工智慧的研發，特別是對計算量的任意限制」。
在昨天吳恩達發表的一篇文章下，Hiton和LeCun已經就「AI如果不受到嚴格監管，在未來30年內導致人類滅絕的可能性的最佳估計」進行了PK。
對此，吳恩達做出回應：人類在30年內滅絕的風險極低。若要說導致地球不適合人類生存的因素，還主要來自全球熱核子戰爭、大流行病或（不太可能）小行星撞擊等大規模的災難。
從很長的時間尺度內（數百年）來講，低出生率/人口崩潰導致人類長期緩慢衰退也是可能的。與這些風險相比，惡意的AGI殺死80億人的想法似乎不那麼明顯，也更加遙遠。
人類智力和AI的結合能夠幫我們更好地解決許多問題，包括上述存在的問題。所以我相信人工智慧將降低人類的綜合滅絕的風險。
如果我們想讓人類在未來1000年裡生存和發展，與其用繁瑣的規定來減緩AI的發展，我寧願讓它發展得更快。
另外，LeCun還轉發了一篇NYU同事撰寫的關於AI監管的文章，並再次突出了對實驗室和算法過程進行過度監控，剝奪計算資源的使用權。
全球AI安全峰會：28國簽署宣言
而在剛剛結束的全球人工智慧安全峰會上，包括英國、美國和歐盟在內的28個與會國代表，簽署了一項具有里程碑意義的「布萊切利宣言」，警告了最先進的「前沿」人工智慧系統所帶來的危險。
接下來，第二次會議將於六個月後在韓國舉行，第三次會議並將於一年後在法國舉行。
宣言寫道：「這些人工智慧模型最重要的能力，有可能造成嚴重甚至災難性的傷害，無論是故意的還是無意的。」
「人工智慧帶來的很多風險本質上是國際性的，因此最好能通過國際合作加以解決。我們決心以包容的方式共同努力，確保人工智慧以人為本、值得信賴和負責任。」
不過，就這項宣言本身而言，並沒有設定具體的政策目標。