馬斯克「搞笑」模型剛剛升級到Grok-1.5，推理性能暴漲，支持128k長上下文。最重要的是，Grok-1.5的數學和代碼能力大幅提升。
Grok-1官宣開源不過半月，新升級的Grok-1.5出爐了。
剛剛，馬斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。
並且，很快就會上線。
11天前，Grok-1模型的權重和架構開源，展示了Xai在去年11月之前取得的進展。
Grok-1有3140億參數，是Llama2的4倍大，而且採用的是MoE架構，8個專家中2個是活躍專家。
Xai介紹，也就是從那時起，團隊改進了最新模型Grok-1.5的推理和解決問題的能力。
OpenAI前開發者關係負責人表示，從xAI重大發布的時間可以看出他們前進的步伐和緊迫感。令人振奮！
128K上下文，Grok-1.5數學推理能力暴漲
根據官方介紹，Grok-1.5改進了推理能力，上下文長度為128K。
Grok-1.5最顯著的改進之一是，它在編碼和數學相關任務中的表現。
在測試中，Grok-1.5在數學基準上取得50.6%的得分，在GSM8K基準上獲得了90%，這兩個數學基準涵蓋了從小學到高中的各種競賽問題。
此外，在評估代碼生成和解決問題能力的HumanEval基準測試中，Grok-1.5獲得了74.1%的高分。
從下圖中，與Grok-1相比，可以看出Grok-1.5在數學方面的能力得到大幅提升，GSM8K上從62.9%改進到90，MATH上從23.9%提升到50.6%。
128K長語境理解，擴增16倍
Grok-1.5另一全新特點是，能夠在其上下文窗口內處理高達128K token的文本。
這使Grok的記憶體容量，增加到以前上下文長度的16倍，從而使它能夠利用更長的文檔中的信息。
此外，新模型還可以處理更長和更複雜的提示，同時在其上下文窗口擴展時仍保持其指令跟隨能力。
在Needle In A Haystack（NIAH）評估中，Grok-1.5展示了強大的檢索能力，可檢索長度達128K字節的上下文中的嵌入文本，並取得了完美的檢索結果。
Grok-1.5基礎設施
Grok-1.5構建在基於JAX、Rust和Kubernetes的定製分布式訓練框架之上。
這個訓練堆棧可以讓xAI團隊能夠以最少的投入，大規模構建創意，以及訓練新的架構。
在大型計算群集上進行訓練LLM的一個主要挑戰是，最大限度地提高訓練任務的可靠性和正常運行時間。xAI定製的訓練編排器，可確保自動檢測有問題的節點，並將其從訓練任務剔除。
與此同時，他們還優化了檢查點、數據加載和訓練任務的重啟，以最大限度地減少發生故障時的停機時間。
xAI表示，Grok-1.5將很快提供給早期測試者，以幫助改進模型。
博客還預告了Grok-1.5將在未來幾天裡推出幾個新功能。
最後，xAI還是一如既往地po出了招募信息。
