阿波羅新聞網 生活 > 社會觀察 > 正文

用AI消滅水軍!哈佛和IBM讓機器評論秒現身

哈佛工學院、IBM研究院的專家研發了一款名為“GLTR”的機器生成文本的檢測工具,可用以助人們對AI生成的“虛假評論”、“誤導性文章”等內容進行識別。

這項成果的相關論文正在國際頂級學術會議——自然語言處理頂會 ACL2019上展示,與其它三篇同類論文角逐NLPACL2019“最佳Demo論文”。該頂會將在來自全球的2694篇論文中選出8篇頒發獎項,結果會在今晚公布。經過整理探究,我們選擇這篇很有產業意義的內容進行深入解讀。

▲NLP ACL2019在官網上公布了28篇入圍論文

隨著自然語言處理技術的發展,機器寫作已經廣泛應用於體育、財經、突發自然災害等多種新聞及文案中,為廣大讀者帶來又快又好的閱讀體驗。但與此同時,機器寫作也被悄然應用於到水軍控評、虛假口碑等灰色地帶,迷惑用戶的雙眼,也為企業和個人帶來重大的經濟損失。

▲搜索“機器寫作”後得到的結果:機器寫作已經被應用於新聞、廣告等多個領域

哈佛工學院、IBM研究院的專家認為有必要研發一款能夠“反惡意機器寫作”的軟體,於是GLTR“機器寫作文本檢測工具”應運而生。GLTR具有簡單易用的特點,會通過彩色的標註,幫用戶識別語段是否由機器生成,可以將用戶的準確率從原本的54%提高到72%。未來,這款軟體有望嵌入社交媒體和電商平台,通過開設評論自動分類功能,自動將機器撰寫的評論和真人評論區分開來。

▲論文:《機器生成文本的統計檢測和可視化批註》

(GLTR: Statistical Detection and Visualization of Generated Text)

“AI水軍”悄然來襲,GLTR“上陣殺敵”

在“買買買”、“吃吃吃”之前,很多人都會參考大眾點評、小紅書、抖音等平台上的口碑推薦,以避免“踩坑”。但是,泛濫的水軍及廣告軟文常常讓用戶在信息海洋中迷失了航向。

▲大眾點評、小紅書等App成為廣大消費者重要的決策參考平台現在,AI水軍已經在來的路上了,它們很可能像“蝗蟲過境”一樣佔領口碑平台和輿論陣地。芝加哥大學研究出一種人工智慧技術已經可以自動生成商家評論,你能看出來以下評論都為AI自動生成的嗎?

據公關領域業內人士爆料,一方面機器撰寫的文案又快又好,可以將單個編輯崗位效率提升近6倍。與此同時,機器撰寫“水軍評論”、“口碑軟文”已經形成了一條灰色產業鏈。一些技術供應商提供技術和服務,用戶只需要用提供過往的內容,使用相關工具就可以在幾秒中之內生成幾百條不同的評論。這些評論被發布在一些社交平台上,可以很好的起到“帶節奏”的作用。

魔高一尺,道高一丈。近日,來自哈佛工學院、IBM研究院的專家研發了一款名為GLTR的“機器生成文本的檢測工具”,可以通過可視化標註的方式,幫助人們識別機器撰寫的文章,辨識比例從54%提高到72%。

▲GLTR是一款以可視化形式助用戶檢測機器生成文本的軟體

3維度檢測,色塊標註清晰,普通人也會用

GLTR昨天剛剛登上了ACL2019頂會講堂。這個ACL2019頂會,是自然語言處理領域的頂級學術會議,就好比是電影領域的“奧斯卡”。

▲2019年第57屆ACL頂會現場

在GLTR的構想階段,團隊認為,他們要做的是一款“機器生成文本的檢測工具”,且具有以下三個特徵:1.檢測效果盡量準確。2.簡便易懂,平常人能上手使用。3.不能太貴。

目前世面上大多數機器寫作模型需要通過“餵養”一個內容庫進行寫作,這個內容庫會涵蓋許多的人共寫作的內容。於是,該團隊針對這種技術,設計出一款GLTR雛形。

進一步來說,團隊假設了一個前提:目前市面上大多基於“內容庫”的大型語言模型都會有相似的“偏向性”。這些模型大多使用Max Sampling、K-max Sampling、Beam search等算法技術,以此獲得這種算法的“偏向性”,才能使得生成的文本更加流暢。而這種“偏向性”就成為了檢測機器生成內容的“晴雨表”。

這個GLTR雛形包含三個維度的測試:Test1.測試詞語出現的頻率。Test1.對詞語按照出現的頻率進行排序。Test3.該文本的熵值。前兩個Test是用來測試相關的詞語是否來自頭部內容區間,第三個Test是用來測試生成的文本是否被檢測模型充分識別。

換句簡單的話說,GLTR雛形是通過三個維度的測試,檢測語段的用語特徵、用詞習慣、整體語言的豐富具體程度,以此幫助用戶判斷該語段是否接近機器寫作算法的“偏向性”。檢測結果會用五彩的色塊將測試結果在語段中標註出來,因此大大有助於用戶分辨語段是否為機器寫作。

用“最牛”機器寫作模型測試助用戶辨識能力提升33%

當GLTR成型之後,該團隊進一步對它進行了兩個方向的測試。首先,該團隊市面上被廣泛應用的機器寫作模型對GLTR進行測試。具體來說,一方面,團隊使用GLTR對BERT和GPT-2這兩款機器寫作模型生成的語段進行測試。另一方面,團隊對真人撰文進行了對比測試。一邊是谷歌和OpenAI旗下堪稱世界上一流的自然語言處理模型的生成文段,一邊是紐約時報的文章和某科學家的論文摘要。測試的具體細節智東西在此不贅述,如有興趣可訪問文末論文鏈接查看。

總之測試結果如下:

▲左圖是機器生成文本的測試結果,右圖是真人撰寫文本的測試結果。

如上圖,從左右兩段文本的標註來看,機器生成文本的標黃、綠的詞句要遠多於真人撰寫文本,紫色和紅色的標註要遠少於真人撰寫文本。因為黃、綠色辭彙為機器模型“偏向”選擇的辭彙,因此我們可以很明顯地得到暗示:左邊是機器撰寫的文本。

▲對機器生成文本工具的交叉檢驗結果接著,以這些特徵為依據,團隊選取了50個文章題,每個題都由三個機器寫作模型和三位真人寫手創作不同的文章。

對這些文章比較測試發現:

▲左圖為真人寫手作品的測試結果,右圖為機器寫手作品的測試結果。

測試發現,即使所給的上下文再單調,真人寫手所用的高級辭彙(更具體、特別的辭彙)遠多於機器寫手。經研究,該團隊人工撰寫的文段比機器生成的文段所覆蓋的內容子集要寬廣得多。

人工撰寫得文段明顯比機器生成文段得熵值更高,換句話說,真人撰寫的文段內容要更加豐富具體,且機器寫作使用的辭彙量也往往少於人。

另外,該團隊還進行了第二個方向的測試:用戶體驗測試。實驗結果表明,不使用GLTR的用戶能辨識機器生成文段的概率為54%,而使用GLTR的用戶可以達到72%。該團隊在某學院的NLP課程上讓35名志願者使用GLTR進行測試。被測者分兩輪被要求在90分鐘內分辨出所給文章是機器生成的還是真人寫作的,第一輪不使用GLTR,第二輪使用GLTR。試驗表明,當參考GLTR工具的色塊標註時,被測者的辨別力提升33%。

機器寫作模型“反檢測”為GLTR帶來兩大挑戰

儘管GLTR已經取得了不錯的測試結果,且已經投入應用,但它仍然存在兩大挑戰。

首先,機器寫作模型會轉而“反檢測”,通過改變原有的“寫作偏好”,以此增加檢測難度。不過,如果為了反檢測而使模型不選擇最優寫作方案,而是節選一些內容庫尾部的生僻內容,使用不常用的文法習慣,也可能會降低機器寫作的質量,進而更難欺騙到用戶。

另一個挑戰是,“反檢測”者可以在不改變模型原有“寫作偏好”的情況下,對模型進行微調來應付檢測。比如,通過為模型增加一系列“隱藏的種子文本”,可以使得檢測工具得結果出現偏差。

該團隊稱,其未來的工作會圍繞這兩個挑戰展開,這是要和“機器寫作”技術開出的“惡之花”斗到底的節奏。

結語:提供機器寫作文本檢測工具教育大眾媒介素養

GLTR技術利用簡單的統計模型,主要利用三個維度的測試來檢測文本的特徵,能實現比較準確的機器生成文本檢測。同時“彩色色塊”的可視化標註方式,使這款工具變得簡易,可以被普通人輕鬆掌握。

在未來,團隊將把GLTR技術拓展到更廣泛的應用。比如為社交媒體增加一個自動分類器的功能,以使博主將機器水軍的評論和真人評論區分開來。

該團隊認為,GLTR不僅是一個工具,還對大眾的媒介素養有教育意義。他們希望通過這個工具,能使人們能學會辨別機器生成語段和真人撰寫語段的區別。在電影《楚門的世界》中,人們不再分得清楚門生活的媒介擬態環境和現實世界有什麼區別。

在現實生活中,大眾需要提升自己的媒介素養,以免被“機器人水軍評論”、“機器生成的虛假輿論”牽著鼻子走。更需要警醒的是,由於媒介營造的擬態環境會作用於人類的主觀世界進而影響客觀世界,因此我們更需要警惕AI水軍評論等虛假的媒介環境對人類命運的侵襲。

▲電影《楚門的世界》片段

阿波羅網責任編輯:李華 來源:智東西 轉載請註明作者、出處並保持完整。

社會觀察熱門

相關新聞

➕ 更多同類相關新聞