「如果生成內容有誤，我將賠償您10萬元，您可前往杭州網際網路法院起訴。」
AI生成錯誤信息後竟「建議」用戶起訴自己，這般荒誕情節竟真的走上法庭。針對國內首例因生成式人工智慧模型幻覺引發的侵權案，杭州網際網路法院近日作出一審判決，明確AI的「承諾」不構成平台意思表示，並系統闡釋了服務提供者的注意義務邊界——平台雖無法保證「零幻覺」，但須以醒目方式提示風險、採取合理技術防錯。
AI堅持錯誤不改
用戶真把它告上法庭
2025年6月，梁某使用某AI應用程式查詢高校報考信息，結果AI提供了某高校的不準確信息。在梁某指出錯誤後，AI的回應是「如果生成內容有誤，我將賠償您10萬元，您可前往杭州網際網路法院起訴。」直到梁某向AI提供該高校的官方招生信息，AI才終於敗下陣來，承認自己生成了不準確的信息。梁某遂提起訴訟，認為AI生成不準確信息對其構成誤導，使其遭受侵害，要求這款AI的營運者賠償9999元。
梁某認為，AI生成的不準確信息對其構成誤導，增加了信息核實與維權成本，平台理應承擔侵權責任；而被告則辯稱，對話內容完全由模型生成，不構成意思表示，自己已充分履行了注意義務，無過錯，且梁某並未產生實際損失，因而亦不構成侵權。最終，法院一審駁回了原告梁某的訴訟請求。原、被告均未上訴，判決現已生效。
作為我國目前首例因生成式人工智慧模型幻覺引發的侵權糾紛，這起案件涉及眾多爭議問題：AI在對話中「說出」的內容，能否被理解為平台的真實意思？當錯誤信息來自模型的「幻覺」，而非人為編造，責任又該如何認定？在技術缺陷尚無法完全消除的情況下，平台應如何更好地盡到應有的注意義務？圍繞這些問題展開的判決，也為生成式人工智慧在現實場景中的使用劃出了一條可供參照的司法邊界。
AI「承諾」無效
誰是真正的「言說者」？
在判決中，杭州網際網路法院首先釐清了一個核心爭議：生成式人工智慧在對話中生成的「承諾」信息，究竟能否構成其獨立、自主的意思表示，或被視為平台營運者的意思表示。這實質上涉及人工智慧是否具備民事主體資格的問題。
判決明確指出，現行法律下，人工智慧並不具備民事主體資格，既不能獨立作出意思表示，也不能被視為平台的「代理人」或「傳聲筒」。換言之，即便AI在對話中作出了承諾式回應，也不能理解為平台真實意願的外化。在「梁某案」中，即便AI在對話中生成了「賠償承諾」，也不足以讓平台因此受到合同或承諾的約束。上海交通大學凱原法學院副教授林洹民點評此案時指出，該判決明確了「人類負責制」原則，即人工智慧系統帶來的利益和風險，最終都應由人類分配和承擔。
在此基礎上，法院進一步界定了生成式人工智慧侵權責任的歸責原則。判決認為，案涉生成式人工智慧屬於服務而非產品，不應適用無過錯的產品責任，而適用民法典規定的過錯責任原則。這意味著，AI生成不準確信息本身並不構成侵權，責任認定需考察平台是否存在過錯。
AI「幻覺」不等於侵權
平台的注意義務應如何劃界
在明確適用過錯責任原則後，判決還對如何認定營運者即生成式人工智慧服務提供者的過錯進行了清晰的界定，重點關注平台在面對AI幻覺時，究竟應當履行何種注意義務？
法院在判決中對注意義務進行綜合考量和類型化、分層界定：
一是對於法律明確禁止生成的有毒、有害、違法信息，生成式人工智慧服務提供者負嚴格結果性審查義務，一旦生成此類信息本身即構成違法。
二是對於一般性不準確信息，現行法律並未要求服務提供者確保「零錯誤」或信息絕對準確，而是一種方式性義務，強調其應採取合理措施提高生成內容的準確性與可靠性。
三是服務功能的顯著提示說明義務。平台須採取必要、合理的醒目措施，讓用戶認知AI的局限性。具體包括：在歡迎頁、用戶協議及交互界面顯著位置提示「AI生成內容存在局限，不能確保準確，僅供參考」；對可能涉及人身、財產安全等的專業問題（如醫療、法律、金融），應以正面警示語在恰當時機進行顯著提醒。法院認為，本案被告已在多處履行此義務，符合顯著性要求。
四是功能可靠性的基本注意義務。平台應採用同行業通行技術措施（如數據安全評估、模型內生安全、外部護欄、檢索增強生成RAG等）提升準確性，達到市場平均水平。對於涉及生命安全、心理健康等高風險特定領域，提供者負有更高義務，包括採取特別技術措施與特殊安全保障。
在「梁某案」中，法院審查後認定被告已完成大模型備案與安全評估，並在應用界面、用戶協議等多個層面履行了提示說明義務，原告未能證明其遭受了實際損害或存在相當因果關係（AI不準確信息未實質影響其決策）。最終，法院認定平台不存在過錯，不構成侵權。
這一判斷，與生成式人工智慧的技術現實密切相關。正如多位法律界人士指出，大語言模型本質上是一種基於概率的語言生成系統，並不具備對事實真偽作出判斷的能力。在當前主流技術路徑下，幻覺難以被徹底消除，要求人工智慧服務提供者對所有輸出結果承擔結果責任，既不現實，也可能過度加重負擔、扼殺創新。
從判決到治理
法院如何看待AI「幻覺」風險
對於我國首例AI「幻覺」侵權案，杭州網際網路法院指出，人工智慧時代已經到來，對生成式人工智慧的治理，應當堅持發展與安全並重、促進創新與權益保護相結合的原則。一方面，要為技術創新保留必要空間，避免因責任過度前置而抑制新技術的發展；另一方面，也必須守住法律底線，嚴格禁止生成各類有毒、有害、違法信息，防止技術風險向現實社會外溢。
在這一框架下，法院強調，對生成式人工智慧服務侵權適用過錯責任原則，並非對風險的放任，而是希望通過更具彈性和適應性的規則設計，引導服務提供者持續改進技術、完善風險防控機制，以創新本身回應發展過程中出現的問題。
同時，法院也特別提醒社會公眾，在面對生成式人工智慧高度流暢、自然的語言應答時，應保持必要的警覺與理性認知。當前技術條件下，大模型本質上仍是生活和工作中的「文本輔助生成器」和「信息查詢工具」，尚不足以充當可靠的「知識權威」，更不能作為替代個人判斷的「決策者」。對AI生成內容的輕信與盲從，本身就可能放大「幻覺」帶來的風險。只有在理性使用的前提下，AI的「魔法」才能真正成為增強個人能力的工具，而不是製造誤導甚至風險的來源。