英偉達：儘管建，用的還是我的晶片……
——題記
最近幾年，隨著大語言模型的飛速發展與疊代，科技巨頭們都競相投入巨額財力打造超級計算機（或大規模 GPU集群）。他們認為，更強大的計算能力是實現更強大 AI的關鍵。
早在2022年，Meta即宣布與英偉達共同打造大型 AI研究超級計算機「AI Research SuperCluster」（RSC），它由760個英偉達 DGX A100系統組成，共有6080塊 GPU，性能非常強大。
如今，馬斯克旗下人工智慧初創公司 xAI傳出了打造超級計算機的消息。
據外媒 The Information報導，最近馬斯克向投資者透露，xAI計劃建造超級算力工廠「Gigafactory of Compute」，為 AI聊天機器人 Grok的下一個版本提供算力支持。
據悉，xAI計劃將10萬塊 H100專用 GPU串聯一台超級計算機，其規模至少是當前最大 AI集群的四倍。如果 xAI的計劃能夠順利完成，這台超級計算機將耗費數十億美元和大量電力。
不過，馬斯克似乎很有信心，他的目標是在2025年秋季之前讓這台超級計算機「跑」起來，並親自負責按時交付。
當然，xAI不想單打獨鬥，其有望與甲骨文公司（Oracle）合作建造超級計算機。我們知道，xAI是 Oracle最大的 H100伺服器晶片租賃客戶，已經使用了後者超過1.5萬塊 H100晶片。
屆時，xAI超級算力工廠建成之後，10萬塊 GPU晶片集群將加速 Grok聊天機器人的開發，減少語音限制。目前，Grok的最新版本為 Grok1.5，該版本實現了長上下文理解和高級推理能力，可以處理128K token的長上下文窗口。
而據馬斯克此前透露，xAI正在訓練的 Grok2已經耗費了約2萬塊 H100 GPU，未來進階版本 Grok3可能需要高達10萬塊 H100 GPU。看來，馬斯克已經在為 Grok3未雨綢繆了。
最後，對於超級算力工廠而言，最關鍵的找到一個電力充沛（可能需要100MW）的位置。因此，AI數據中心位置的選擇非常重要。
至於建成的意義是什麼？這個規模龐大的超級算力工廠將幫助 xAI追趕 OpenAI、微軟等資金更為雄厚的競爭對手。
此前同樣據 The Information報導，微軟和 OpenAI擬投入超1000億美元打造一個數據中心項目，其中包括一台「星際之門」（Stargate）的 AI超級計算機，配備了數百萬個專用伺服器晶片，旨在為 OpenAI實現 AGI提供動力。
其實，這也不是馬斯克第一次投入超算項目。此前，特斯拉就被曝出到2024年底，投入遠超10億美元打造一台「Dojo項目」的內部超級計算機，用於處理數據和視頻，提高自動駕駛能力並最終實現完全自動駕駛。
此次，馬斯克又在大語言模型領域斥巨資建造超級計算機。有人表示，如果消息屬實的話，這將成為遊戲改變者。當然，英偉達是最大的贏家。