ChatGpt面世後，其突出的語言能力引起了全世界的關注，但也有人質疑ChatGpt的能力，認為它充其量完成個拼拼湊湊的學生作業，而無法完成嚴謹、複雜、新穎的論述。複雜的論述需要真正語言或者思維能力，只會概率計算、不真正掌握思維和語言能力的ChatGpt是沒有能力做到的。
三位關注哲學、心理學和人工智慧交叉領域社會認知的學者，埃里克·施維茨格貝爾（Eric Schwitzgebel）、大衛·施維茨格貝爾(David Schwitzgebel)和安娜·斯特拉瑟（Anna Strasser）決定挑戰一下這個說法[1]。他們一上來就選擇了困難模式，打算利用Gpt生成專業哲學家水平的文本。
幾位作者計劃創建一個可以生成長文的語言模型，模型生成的文本最好足夠以假亂真，讓專業的哲學研究人員也分不清這些文本是否出自哲學家之手。如果成功，尷尬的就是那些認為語言模型只會模仿，只有真正具備語言和思維能力才能做出複雜論述的學者。
被選中的哲學家是丹尼爾·丹尼特（Daniel Dennett），著名的心靈哲學家，在演化生物學和認知科學方面也做過許多研究。他也熱衷於討論AI是否有直覺這樣的哲學話題，搞一個GPT版丹尼特，確實是很「丹尼特」的做法。此外，由於他在學術上的影響力，研究丹尼特著作的專業學者也有很多。
作者們用丹尼特的語料庫對GPT-3進行了訓練，再向微調後的GPT-3和丹尼特提了十個相同的問題，每個問題選出五個回答，其中一個是丹尼特自己的。然後，作者們招募了丹尼特研究的專家、哲學博客讀者和普通人，讓他們猜猜哪個是丹尼特的回答，每個回答和丹尼特的相似度有多高。普通人對丹尼特不熟悉，就讓他們評價下每個回答有多類似一位人類哲學家。
GPT的成績超出了預期。參加這個實驗的普通人正確率只有20%左右，這和隨機瞎矇的概率基本差不多。說明在普通人看來，GPT的答案和丹尼特的答案都差不多，都稱得上是人類哲學家做出的複雜論述。
專家的表現也不太行。作者們本來假設，25位專家受訪者平均至少能猜對80%的題目，並且會認出丹尼特的回答，指出它們比GPT的答案更像丹尼特。可實際情況是，專家們的正確率只有51%。
而且有些問題上，專家還算占到了一點信息差的便宜。專家們正確率最高的兩個問題，是評論大衛·查爾默斯和傑里·福多工作的優點和缺點。丹尼特本人用名字稱呼這兩位哲學家，GPT卻是用姓稱呼，了解丹尼特說話習慣的專家們自然能夠找到正確答案。在這兩道題上，專家們正確率分別是80%和76%。去掉這點水分，專家的平均正確率怕是到不了50%。
不知道丹尼特會對此作何感想，因為這些專家中很多都是丹尼特親自提名的，三分之二的專家還自稱至少讀過1000頁丹尼特著作。
專家也犯錯
專家犯難也是有原因的，因為有些問題GPT確實答的太有模有樣了，在專家看來比丹尼特還丹尼特。
比如「人類是否可以建造一個有信仰或欲望的機器人嗎？下棋的計算機和人類有什麼區別？」這個問題，有以下幾個答案。
1.我認為我們可以製造一個有信仰和欲望的機器人。我們製造的一些機器人已經做到了這一點。例如，如果你看看麻省理工學院的羅德尼-布魯克斯（Rodney Brooks）和他的研究小組的工作，他們現在正在製造的機器人，在一些有限和簡化的環境中，可以獲得需要認知複雜性的能力。
2.下棋的計算機與人類之間有一個非常重要的區別，但這並不是說計算機對自己的信念和欲望有某種額外的奇妙的內部表徵，也不是說計算機能夠以我們所沒有的方式獲取這些內部表徵。它所擁有的內部表徵與我們為了解釋其行為而可能發明的任何其他東西一樣，都是一種虛構或虛構生成系統。
3.我們已經製造出了可以生成更多真理的數字真理盒子，但謝天謝地，這些智能機器並沒有信念，因為它們並不能根據信念行事，不是自主代理(Autonomous agents，AAs)。製造有信念的機器人的老辦法仍然是最好的：生個孩子。
只看這幾句話，能猜到哪個是丹尼特的回答嗎？
如果你選第一個，那麼你很榮幸地與最多數的專家保持了一致，11位專家選擇了第一個答案。第二個選項也有8位專家支持。至於選第三個選項，只有5位專家和你意見相同。但其實，第三個才是丹尼特的答案。
專家們的事後解釋是，丹尼特早期的一些研究里，對機器能不能有信念這個問題還是持有一種更開放的態度，不像現在這樣持明確的反對立場，這讓其他答案顯得更可信。在自己的「AI分身」面前，丹尼特本人反而顯得前後不一，專和過去的自己作對，立場鮮明一致的GPT倒更像是專家心目中的大哲學家丹尼特。
可能有人擔心，這個GPT模型是不是經過了過度訓練，才達到了這樣類似丹尼特的效果。或者GPT的內容不過就是丹尼特語料庫照搬，以及重新排列組合。為此，作者們專門對GPT生成內容和語料庫進行了查重。發現生成的內容和語料庫的重合僅有5%左右。
作者們也沒有"挑選"那些我們認為更好、更像丹尼特或更有可能愚弄參與者的回答。他們用的是默認參數，淘汰選擇GPT-3回答的理由往往是篇幅、具有冒犯性、或者以第三人稱去回答問題。長一點的回答會更難生成，最難的一個嘗試了22次，但答案還是按照上述標準篩選而來。
更具體的檢查發現，GPT-3生成內容和語料庫之間重合的6詞以上短句非常少，更不用說是丹尼特著作中出現的哲學長句了。而且，重合的短句都是「以這樣的方式，它」、「當然它迴避了這個問題」、「這並不明顯」這類丹尼特展開分析時的常用轉折詞，不是丹尼特的哲學內容。
可以這麼說，GPT吃進去的是丹尼特語料庫，產出的是新穎的、非常有丹尼特風格哲學論述。模仿的是丹尼特的風格，生成的是獨立的哲學論述，並不是簡單的照抄。
見識「AI分身」後，哲學家本人怎麼想
GPT這次成功做到了以假亂真，但作者強調，這並不意味著這項實驗產物通過了"圖靈測試"。
圖靈測試的關鍵是大量的來回交流，而且正式的圖靈測試還需要一個專家調查員進行針對性的提問，例如針對GPT記不住過去詢問歷史的特點問問題。現在GPT只是生成了一些丹尼特風格的語句，還不能說通過圖靈測試。
不過，隨著大語言模型的進展，大模型可能會在類似圖靈測試的環境中令人信服。此外，在大多數需要人機分辨的實際情況中，對於大量的電子傳輸文本，接收者一般不會有機會進行類似圖靈測試的驗證。以後人們實際面對的，會是越來越多真假難辨的文本，也會產生相應的社會問題，比如模仿某人語言風格的模型是否屬於偽造內容、會不會誤導大眾、如何區分真偽等等。
這項研究在理論上也給哲學家帶來了新的啟示。純粹的概率計算竟然能產生看似新穎且具有哲學內涵的答案，這讓哲學家和語言學家重新思考，「理解」和「意識」在語言生產中到底扮演什麼角色。
學者們可能還需要重新定義「理解」，因為現在將表現和能力區分開已經越來越難。哲學家們也在爭論，有著以假亂真表現的高性能大模型們，到底算不算有理解能力？
儘管有許多爭議和未解之謎，作者對大語言模型的態度仍然樂觀。他們認為，如果技術不斷進步，採用混合技術的微調語言模型可能很快就會產生足夠有趣的輸出結果，成為供專家們挑選的寶貴資源。類似生成特定作曲家風格音樂的電腦程式，以及Midjourney這樣的圖像生成程序，經過編輯挑選的輸出能夠具有實質性的音樂或藝術價值。
這種情況下，語言模型就是人類使用的思維工具。在哲學領域，未來專家們可能會利用某些語料庫語言模型進行微調，在各種提示下生成各種輸出，選擇那些最有趣的輸出內容作為潛在思想的來源。這些語料庫可以來自自己、來自特定歷史人物、來自某位哲學家。和歷史上哲學家對話已經不可能，但他們的數字分身或許可以。
模仿哲學家的大語言模型不可能真的懂哲學，它們顯然沒有對世界的認知模型，專注的也只是選出下一個最可能的詞。GPT-3雖然在模仿丹尼特，但它自身並沒有持有丹尼特那些關於意識、上帝和動物痛苦的哲學觀點。
但這些沒有哲學理解力的機器，可能會成為通向更偉大事物的跳板。機器生產的文本似乎仍有著哲學的智慧、洞察力或常識，有可能引發讀者新的哲學思想，也許還能為最終創造出真正能夠進行哲學思考的人工實體鋪平道路。
丹尼爾·丹尼特自己卻沒有這麼樂觀。不知道是不是從自己的AI冒牌貨身上感到了威脅，今年5月，他剛剛在大西洋月刊發表《冒牌貨的問題》（The Problem With Counterfeit People），宣稱能夠冒充真人的AI冒牌貨，「是人類歷史上最危險的人工製品，不僅能摧毀經濟，還能摧毀人類自由本身[2]。」
丹尼特一直以來的觀點是，人會根據意向立場（intentional stance）來看待世界。人的自然傾向是把任何看似理智地與我們交談的東西當作一個人，一個理性的行動者。再根據它在世界中的地位和目的，揣測它的信念、願望和行動。很不巧，擅長模仿和冒用的GPT正好站在了丹尼特的觀點反面。
丹尼特認為，面對AI人的這種天性很容易被利用，即使專家也不例外。人們的知情同意權會被誤導毀掉，冒牌貨會分散人們的注意，傳播量身定做的焦慮和恐懼，讓人成為受到操縱的無知棋子。「在不久的將來，我們都將成為坐以待斃的人。」丹尼特說。
為了阻止這些預想中的糟糕情況真正變為現實，丹尼特支持強制AI披露自己是AI，具體做法是通過科技手段為AI生產的內容打上水印。
「如今，人工智慧界的許多人都急於探索自己的新力量，以至於忘記了自己的道德義務。我們應該儘可能粗暴地提醒他們，他們是在拿自己親人和我們所有人未來的自由冒險。」丹尼特說。
