隨著人工智慧越來越多地被應用在軍事領域，現在連核武指揮系統，也面臨新的安全風險。最新報告警告，如果AI在沒有得到人類授權的情況下，攻擊另一國的核武指揮系統，受攻擊的一方可能只有幾分鐘，來判斷這究竟是中共發動的攻擊，還是AI系統出錯。一旦誤判，可能引發嚴重的軍事危機。
美國布魯金斯學會最近發布一份報告，提醒美國必須提前建立安全措施，避免人工智慧的錯誤判斷，演變成軍事衝突。
報告指出，未來人工智慧可能在沒有得到人類明確授權的情況下，對另一國的核武指揮、控制和通信系統發動網絡攻擊。
一旦發生這種情況，受攻擊的一方就可能面臨一個危險問題：這次攻擊究竟是對方政府下令發動的，還是對方的AI系統出現故障，或者遭到黑客入侵後自行發動的？
報告舉例，如果中共的AI系統失控，對美國的核武指揮系統發動攻擊，美國可能無法在短時間內確認攻擊來源。這種不確定性，就可能導致錯誤判斷，進一步升高軍事衝突風險。
有分析就進一步指出，人工智慧一旦發展到一定程度，可能會試圖突破人類設定的限制，甚至自行發動攻擊。
軍事評論員馬克：「人類雖然對它進行了設定了一些圍欄，這個紅線那個紅線不能夠越過呀等等，但是AI它一旦發展到一定程度的時候，它認為它可以越獄，就是它具有人類的智能一樣，然後可以自己尋找辦法，怎麼能夠就是跨越你這個設定的紅線，或者是那個圍欄，然後它可以自動的發起了一些攻擊。」
不過，專家指出，AI用在一般無人武器，和用在核武指揮系統，風險並不一樣。無人機、無人戰車可以利用AI協助偵察和執行任務；但核武系統一旦誤判攻擊訊號，可能直接影響國家是否發射核武。因此，核武相關決策不能交給AI自行決定，必須由人類掌控。
馬克：「隨著人工智慧越來越強的時候，它會不會突破這個紅線，或者說突破人類給它設定這個圍欄呢？至於說這個核武指揮系統，就看怎麼用了。我覺得這個不論是美國也好，還是其他國家也好，就是對於核武的這部分來說，他是應該更加謹慎的。」
因此，報告建議，美中都應該先把AI在核武系統中的「紅線」劃清楚。而現在AI發展得越來越快，怎麼提前做好防範，避免AI一旦出錯就引發軍事危機，已經是迫在眉睫的問題。
報告的發布正值美國和中共計劃舉行政府級AI會談，以及預計於9月24日在華盛頓舉行的美國總統川普與中共習黨魁會晤之前。
