在已公布的基準測試中，Flash2.0 Thinking超越了 R1，儘管基準測試並不能說明全部情況。Google只發布了3個基準測試，因此情況不夠全面。不過，我們認為 Google的模型非常穩健，在許多方面可以與 R1相當，但卻未獲得太多關注。
這可能是由於 Google營銷策略平平、用戶體驗較差，但同時 R1也作為一項來自中國的黑馬出現。
需要明確的是，這些都不會削弱 DeepSeek非凡成就的價值。DeepSeek作為一家快速運作、資金充足、聰明且專注的初創公司，這正是它在推理模型方面超越 Meta等巨頭的原因。
讓美國科技圈瘋狂複製的 MLA創新DeepSeek實現了許多領先的 AI公司都未達到的技術創新。我們預計，接下來 DeepSeek發布的任何技術進展，都將幾乎立刻被西方實驗室複製。
這些技術突破是什麼？大多數架構上的成就都與 V3相關，而 V3也是 R1的基礎模型。下面讓我們詳細介紹這些創新。
訓練（預訓練與後訓練）
DeepSeek V3利用 Multi-Token Prediction(MTP)實現了前所未見的規模，這是一種新增的注意力模塊，可預測接下來的多個 token，而非單一 token。
它在訓練過程中顯著提高了模型性能，並且在推理時可以被移除。這就是一種利用較低計算資源實現性能提升的算法創新。
還有一些額外的考量，比如在訓練中採用 FP8精度，但領先的美國實驗室已經使用 FP8訓練有一段時間了。
DeepSeek V3還是一種專家混合模型，即由眾多專注於不同任務的小專家組成的大模型，表現出強大的湧現能力。
MoE模型曾面臨的一個難題，是如何確定哪個 token應該分配給哪個子模型或「專家」。DeepSeek實現了一個「門控網絡」（gating network），能以平衡的方式將 token路由到合適的專家，而不會影響模型性能。
這意味著路由效率非常高，在訓練過程中每個 token相對於整個模型的規模僅需修改少量參數。
這提高了訓練效率，同時也降低了推理成本。
儘管有人擔心專家混合模型（MoE）帶來的效率提升，可能會減少投資，但 Dario指出，更強大 AI模型所帶來的經濟效益非常可觀，因此任何節約的成本都會迅速再投資於構建更大規模的模型。
MoE的效率提升不僅沒有減少總體投資，反而會加速 AI的規模擴大。目前矽谷的主流科技公司都在正全力以赴地將模型擴展到更多計算資源，並在算法上提高效率。
R1背後的基礎模型 V3
就 R1而言，其極大地受益於擁有一個強大的基礎模型（V3），這部分得益於強化學習（RL）。
RL主要聚焦兩個點：格式化（以確保輸出連貫）以及有用性和安全性（以確保模型實用）。
推理能力是在對模型進行合成數據微調時產生的。正如我們在擴展定律文章中提到的，這正是 o1所經歷的過程。
需要注意的是，R1論文中沒有提及計算資源的使用情況，這是因為提到所用計算資源的數量會透露他們擁有的 GPU數量遠超過其對外宣傳的規模。
如此大規模的強化學習需要大量計算資源，尤其是在生成合成數據的場景。
此外，DeepSeek使用的一部分數據似乎來自 OpenAI的模型（尚未證實），我們認為這將對從輸出中進行蒸餾的政策產生影響。根據服務條款這是違規的，但未來一種新的趨勢可能會採取類似 KYC（了解你的客戶）的方式來阻止數據蒸餾。
談到蒸餾，也許 R1論文中最值得關注的部分，是能夠通過用推理模型的輸出對非推理小模型進行微調，將其轉變為具備推理能力的模型。
數據集策劃共包含80萬個樣本，現在任何人都可以利用 R1的思維鏈（CoT）輸出創建自己的數據集，並藉助這些輸出構建推理模型。
我們可能會看到更多小模型展示出推理能力，從而提升小模型的性能。
多頭潛在注意力（MLA）
正如我們在前文提到，多頭潛在注意力（MLA）是 DeepSeek在推理成本上大幅降低的關鍵創新。
因為與標準注意力機制相比，MLA將每次查詢所需的 KV緩存減少了約93.3%。KV緩存是 Transformer模型中的一種記憶體機制，用於暫時保存代表對話上下文的數據，從而減少重複計算。
隨著對話上下文的增長，KV緩存也會增加，進而帶來巨大的記憶體壓力。因此大幅減少每次查詢所需的 KV緩存，就能降低每次查詢所需的硬體量，從而降低了整體成本。
不過我們認為 DeepSeek是以成本價提供推理服務以搶占市場份額，而並非真正盈利。
Google Gemini Flash2.0 Thinking仍然更便宜，且 Google不太可能以成本價提供該服務。MLA尤其引起了許多領先的美國實驗室的關注。
MLA於2024年5月在 DeepSeek V2中首次發布，由於 H20的記憶體頻寬和容量相比 H100更高，DeepSeek在推理工作負載上也獲得了更多效率提升。他們還宣布與華為建立合作關係，但迄今為止在昇騰計算方面的應用還很少。
我們認為，MLA對利潤率帶來的影響，對整個 AI生態系統都意義重大。
R1沒有在技術層面削弱?o1的優勢在利潤率方面，我們有一個關鍵發現：R1並未削弱 o1在技術上的優勢，反而以更低的成本提供了相似的能力。
這一結果合理且具有啟示意義，促使我們構建了一個面向未來的定價機制框架。能力越強，利潤率越高，這一邏輯與半導體製造行業的發展路徑頗為相似。
當台積電首次突破至新的工藝節點，推出前所未有的產品時，便能獲得強大的定價權。而處於技術追趕階段的競爭者，如三星和英特爾，則更多依靠在成本和性能之間尋求平衡，通常以低於市場領導者的價格進行競爭。
對於晶片製造商（在這裡可類比為 AI實驗室）而言，優勢在於可以靈活調整產能。如果某個新模型具備更優的成本效益，企業可以快速增加其產能，同時逐步減少對舊模型的支持。
這種產能調整機制不僅符合當前 AI實驗室的運作模式，也與半導體行業長期以來的經驗契合。
技術的競爭就是定價權爭奪這或許預示著未來 AI競賽的發展軌跡。
率先進入新能力層級的企業將掌握顯著的定價溢價，而跟隨者則只能依靠微薄的利潤勉強維持。
那些在能力上落後的產品仍會存在，前提是它們能滿足特定的使用場景，但每一代產品中能夠趕超領先者的參與者會越來越少。
我們已經在見證，R1已經達到了領先的能力水平，卻以零利潤的價格銷售。
這種鮮明的價格差異引發人們的疑問：憑什麼 OpenAI的產品這麼昂貴？因為他們的產品定價基於最前沿的技術，並從中獲取相應的溢價收益。
我們認為，未來的技術發展速度將超過半導體製造業目前的快速節奏。
追求最新能力意味著持續的定價權——以ChatGPT Pro為例，而能力滯後的產品則必須通過降低價格來維持市場，利潤主要依賴於底層的算力和代幣基礎設施。
在當前這個快速疊代的技術周期中，追求卓越能力的動力只會加速產品的更新換代。只要企業能夠持續拓展能力、開發具有新價值的功能，就理應享有定價權；反之，在開放市場中，產品同質化的趨勢會迅速顯現。
在這個背景下，人們對當前局勢存在著根本性的誤解。我們所描述的情景，頗有幾分類似於超高速發展的半導體製造業——這是全球資本密集度最高的行業。沒有哪個行業在研發上的投入超過半導體製造業，但最接近這一現實的AI模型供應鏈，卻常常被視為不利的參照對象。
將 AI token與傑文斯悖論進行比較，可以發現深刻的歷史相似性。
最初，人們對電晶體能否持續微縮存在疑慮；一旦這一趨勢被確認，整個行業便全力以赴推動 CMOS技術向極限縮放，並在此基礎上構建關鍵功能。
如今，我們正處於將多鏈思維模型和能力整合的初期階段，這與電晶體微縮的早期時代頗為相似。儘管從技術角度來看，這可能是一個充滿動盪的時期，但對於英偉達而言卻是一個好消息。
免費又強大推理模型能一直持續嗎事實上市場一直在尋找一種新的破局點，而這正是它所選擇的。
如果 DeepSeek願意以0或甚至負利潤率營運，那麼其產品價格確實可能被壓低到如此程度。
然而，對於前沿 Token服務的定價彈性顯然要高得多。鑑於 DeepSeek正處於新一輪融資之中，他們有強烈的動力去追求這一策略。
在推理領域的一個關鍵轉折點上，DeepSeek打破了 OpenAI占主導地位的利潤率。這種領先地位能否持續？
我們認為不會——畢竟，一個開源實驗室現在已經展示了曾被認為僅屬於閉源實驗室的能力。雖然這是一個關鍵性的發展，但必須認識到 DeepSeek仍然是一個快速跟隨者。
我們確實認為，一個更強大的開放實驗室（目前 DeepSeek是最傑出的代表），將極大地惠及新興雲服務提供商和基礎設施供應商。
無論模型是開源還是閉源，計算資源的集中化依然至關重要。然而，如果建立在這些計算資源之上的上層服務開始免費提供產品，那麼計算本身的內在價值很可能會上升。
更多資本將流向計算基礎設施，而不是封閉模型供應商，這標誌著支出正向硬體轉移。軟體公司也將從這一動態中大幅受益。
