Anthropic再次發表一篇長論文，光論文小標題就有24個，他們發現在 Claude的幾十億個參數中間，暗藏著一個狹小的空間。它的體積只占整個模型活動的不到一成，但是裡面承載的內容很特殊。所有你能讓模型生成出來的東西，關於某一件事的判斷、推理時的中間步驟、乃至於模型自己都沒打算說出口的想法，都曾在這個空間裡流過。
Anthropic給它起名叫 J空間，這個名字來自 Anthropic用來找到它的一個名為雅可比矩陣的數學工具。
這個發現之所以非常重要，在於它跟人類大腦的一個特徵出奇地相似。在認知神經科學裡有一個理論叫作全局工作空間理論，由科學家斯坦尼斯拉斯·德阿內和萊昂內爾·納卡什發展起來。
這一理論認為，大腦里有許多無意識的自動處理過程在並行運行，譬如維持姿勢、調節呼吸以及處理語言的基本結構。但是有一小部分信息會進入一個特殊的共享通道，進而被廣播到大腦的各個部分，供它們用來讀取和使用。進入這個通道裡面的信息，就是能被報告出來、能被用來推理、能被靈活控制的東西，即所謂的有意識訪問。
上文的德阿內和納卡什受邀審閱了 Anthropic的這篇論文，他們在評論文章里寫道，J空間和這個理論模型的對應關係有著驚人的相似。
Anthropic發現 J空間的方式是這樣的：他們先是從如下觀察出發，那就是有意識訪問的內容存在這樣一個特點，這個特點就是你可以把它說出來。假如一個念頭對你來說是有意識可訪問的，別人問起來的時候你通常能描述它。基於此 Anthropic在大模型里尋找具有同樣特徵的內部表徵，這些內部表徵就是那些一旦存在、就能讓模型更有可能在未來某個時刻說出某個詞的內容。
Anthropic使用的工具叫雅可比透鏡，簡言之對於詞表里的每一個詞，這個工具可以找到模型內部的一種活動模式，這種模式可以讓模型更加傾向於在未來的某個時刻說出那個詞。當把這個透鏡對準模型內部的激活狀態的時候，就會得到一張詞表，它代表著當前 J空間裡正在活躍的內容。
J空間存在這樣一個特徵：模型在處理文本的時候會經過多個內部階段，每一層都在加工信息和轉換信息。在不同層應用這個透鏡的話，就能看到這些沉默的詞在 J空間裡是如何隨著模型思考而演化的。
而這些內容遠遠超出了模型正在讀或寫的那些文本，當模型讀到一段帶有漏洞的代碼的時候，J空間裡會出現「錯誤」這個詞；當它讀到一個蛋白質的原始序列時，J空間裡會出現關於那個蛋白質的生物學功能；當它讀到一段實際上是試圖操縱它的搜索結果的內容時，J空間裡會出現「注入」和「假造」等詞語。
更為關鍵的是，J空間裡的內容能夠被直接干預。在研究中的一項實驗裡，Anthropic讓模型先默想一項運動然後再說出來。在模型給出回答之前，J空間裡已經出現了「足球」這個詞。這時，研究人員開始直接介入，把足球這個模式移除並換成橄欖球，模型隨後開始說它想的是橄欖球。
圖| J空間揭示了模型輸出內容中未出現的內在想法（來源：Anthropic）
假如 J空間只是一個被動的記分牌，記錄著其他地方做出的決定，那麼對其進行編輯它應該不會產生任何影響。模型仍然會說「足球」，但模型卻被編輯帶著跑，這說明答案確實是從 J空間裡讀取出來的。
圖|通過交換 J空間的內容來改變 Claude的沉默推理方式的兩個案例（來源：Anthropic）
J空間也參與了多步推理。Anthropic在博客文章里舉了這樣一個例子：織網的動物的腿有多少條？這時，模型需要首先推出那個動物是蜘蛛，接著回憶蜘蛛有幾條腿。「蜘蛛」這個詞從來沒有出現在提示詞或生成答案里，它只是模型內部所使用的一個墊腳石。J空間在模型處理的中途捕捉到了「蜘蛛」這個中間概念詞語，這時換掉這個詞語就會改變結果，比如換成螞蟻，答案就從八條腿變成了六條腿。
全局工作空間理論的另一個重要特徵是靈活性，每當一個表徵進入工作空間，就能夠被多種下游任務使用。Anthropic給了模型四個提示，讓其分別詢問關於法國的不同事實，這四個提示分別涉及到首都、語言、大洲和貨幣。
接著，在 J空間裡把法國換成了中國，在每種語境中使用一模一樣的干預。這時，模型分別回答了北京、中文、亞洲和人民幣這些答案。在四個不同的下游計算里，模型都讀取了同一個編輯，並且都能各自正確使用它。假如模型為每種問題分別存儲了一個單獨的國家副本，編輯內容最多只會影響其中一個，四個答案全部一起改變說明它們都在讀取同一個共享表徵。
但是 J空間並不參與模型的日常自動處理，沒有它的話模型仍然能夠流利地說話、分類情感、回答選擇題、從段落中提取事實。在那些需要更高階思維的任務里，假如沒有 J空間則會讓大模型失去一些能力，比如多步推理能力下降到接近零、總結和寫押韻詩的表現滑到了一個小得多的未受損模型之下。
在研究中的一項實驗裡，Anthropic給模型看了一段西班牙語寫的文章，隨後交給它不同的任務，讓其繼續寫下去、說出語言名稱以及回答那些需要利用語言身份的問題。
然後，在 J空間裡把西班牙語換成了法語，隨後檢查模型在哪些任務里受到了影響。結果發現，當模型被要求說出語言名稱時，模型說了法語；被問及著名作家的時候，它從《百年孤獨》作者&拉美作家加西亞·馬爾克斯換成了法國作家維克多·雨果。
但是讓它繼續寫文章時，它寫出來了流利的西班牙語，幾乎完全不受影響。事實上，模型其實是知道西班牙語怎麼用的，但是有些任務需要從 J空間裡把它拿出來才能用，比如只有命名語言或者用它做點新事情時才會經過 J空間。對於繼續寫文章這類任務，這是一種模型在大量文本上練習過的技能，因此它會自動地運行。
這項研究也引出了那個始終繞不開的意識問題，前面提到的德阿內和納卡什在評論文章中寫道，J空間與全局神經元工作空間理論之間存在著大量的對應關係，比如可報告性、有限容量和選擇性、廣泛的上下游連接、靈活使用同一表徵完成多種下游計算、在刻意內部推理中扮演核心角色但自動過程發生在外部，種種這些都說明模型可能復現了人類有意識訪問的特徵。
但是，模型和人腦依然存在關鍵差異。人腦的工作空間由循環迴路進行維持，信號在同樣的迴路中來回地循環。J空間則是在一次通過網絡的前向傳遞中演化的，這一過程實際上深度扮演了時間在人腦中扮演的角色。
J空間的容量貌似也更高，Anthropic估計它能夠同時容納大約二十五個活躍概念，這比人類工作記憶的估計容量要大很多。當然，J空間並不是一組專門的神經元，而是分布在一組普通的神經元上，而同樣的單元同時攜帶了無意識內容。
模型和人腦還有一個更根本的差異，人腦的工作空間由長程軸突和丘腦皮層迴路的特定解剖結構加以支撐，J空間則是在一個前饋網絡中湧現出來的。但是德阿內和納卡什認為，這些實現細節對於機器是否可以實現有意識處理這個問題來說，在很大程度上其實沒啥影響。
Eleos AI研究院的派屈克·巴特林和同事們評論本次成果稱，對於大模型存在某種形式的訪問意識來說，Anthropic的這篇論文提供了有力證據。但是他們也提醒，訪問意識和現象意識在概念上是不一樣的。現象意識指的是一種主觀體驗，對於一個模型來說它可以有訪問意識而沒有現象意識，就像一個系統能夠處理信息卻沒有任何感受。
谷歌 DeepMind的尼爾·南達在評論文章中提供了一份獨立復現，他在通義千問3.627B模型上驗證了這樣一個發現，他寫道 Anthropic的這篇論文為模型中某種認知空間的存在提供了壓倒性的證據，論文中很多難以偽造的證據表明有重要的事情正在發生。
尼爾·南達的團隊還發現了一些有趣的擴展結果，比如當模型讀到一個模稜兩可的句子的時候，J空間裡會出現「這是什麼意思」這幾個字，並且這個念頭似乎真的幫它搞明白了句子的意思。
Anthropic也在博客文章里坦率地討論了局限性，其指出雅可比透鏡是一個不完美的工具，它只能夠近似地捕獲模型的真實工作空間，例如它只能識別對應單個詞元的概念。目前，Anthropic也不確定什麼機制首先決定了什麼東西能進入 J空間。
不過，人們對於大模型思維的理解只會越來越清晰，J空間所揭示的東西說明它是一個真實的、可干預的、可讀寫的內部工作空間，是在幾十億次前向傳遞中演化而來，而它之所以這樣做是因為對計算有利。
