△圖源:微軟
微軟砸下大幾億美元,專門為訓練ChatGPT打造了一台超算——
上萬張英偉達A100晶片
打造,甚至專門為此調整了伺服器架構,只為給ChatGPT和新必應AI提供更好的算力。
不僅如此,微軟還在Azure的60多個數據中心部署了幾十萬張GPU,用於ChatGPT的推理。
有網友感慨:果然還是得靠錢生錢啊~
還有網友調侃,微軟數據中心伺服器終於多了個新用途:
雖然不是真的,不過想像微軟數據中心的某些伺服器用途,可能一半是Xbox的xCloud,另一半是ChatGPT。
微軟為什麼打造這個超算?
事實上,這台超算並非最近才開始打造。
據微軟表示,他們給OpenAI提供這台超算已經有3年之久,而ChatGPT也正是基於這台超算提供的算力訓練的。
這是因為,OpenAI在最初商量與微軟合作時,曾經就算力方面的事情進行過協商。
OpenAI認為,如果微軟想給自己提供算力,就必須在Azure雲端運算平台上「騰出」一部分巨大的算力單獨給它們使用,且確保它們不與Azure提供的其他服務產生衝突。
微軟答應了這一條件,特意給OpenAI提供了一台超算,用於各種大模型訓練。
△圖源:微軟
當然,微軟也不是白白給OpenAI提供超算服務的,背後肯定有自己的考量。
其一,吸引更多企業來使用Azure訓練自己的大模型。微軟執行副總裁Scott Guthrie表示:
雖然它是OpenAI的定製版,但同樣具備某種通用性,任何企業都可以基於這種方式來訓練自己的大語言模型。
其二,直接在Azure中提供OpenAI模型服務(Azure OpenAI Service)。
此前包括GPT-3、Codex和DALL·E2等模型,都已經接入Azure。
至於納德拉1月份立的「要把ChatGPT加入Azure服務」flag,目前也已經實現。
官網還特意給ChatGPT相關服務貼了個高亮標籤:
這波屬實是微軟用ChatGPT,再次宣傳了一波自己的雲服務(手動狗頭)。
當然,基於英偉達A100打造的超算也不是微軟Azure的最新技術。
據微軟表示,他們還將基於英偉達H100和網絡技術,推出Azure最新的AI虛擬機產品。
國內ChatGPT雲廠商現狀?
那麼,國內雲廠商是否會因為ChatGPT被帶動起來一波?
事情並不如想像中簡單。
目前來看,國內公開表示擁有1萬張英偉達A100的企業只有幻方量化。
據幻方官網顯示,2022年3月由於需要發展量化金融業務,他們構建了一個名為螢火二號的AI集群,擁有一萬張英偉達A100。
至於其他企業,據《財經十一人》介紹,國內GPU持有量超過1萬張的企業不超過5家,即使規模最大的企業也不超過5萬枚,而且這裡面有不少都是英偉達中低端數據中心晶片。
顯然,相比微軟能給ChatGPT投入大量算力、或是像Facebook和谷歌一樣動輒能採購幾千上萬張GPU,算力是國內廠商做ChatGPT的另一大難點。
在以ChatGPT為代表的大模型技術上,軟硬體都還有不少難關要攻克。