聊天機器人如ChatGPT蔚為時興，但使用它們，只要時間夠久，都會發現它們會大扯謊話，目前此一現象被稱為妄想(hallucination)、虛談(confabulation)，簡而言之就是捏造；開發商聲稱正努力讓自己的AI機器人更追求真實，但也有學者指出，這種AI科技與設想達成的目標，兩者本質上就不搭界，無藥可醫。
美聯社報導，一些企業、組織、高中生想動用生成式AI系統，來譜組文件交差。有些人使用生成式AI想完成的任務，可能有嚴重後果，例如心理療法、研究論文及法律文件。
聊天機器人Claude2的創造人阿莫迪(Daniela Amodei)表示，他不相信今天有哪一款聊天機器人能沒有妄想這個毛病，因為設計出來，就是想預測下一個字詞，所以有些時候，這些正式名稱叫「語文模型」(language model)的聊天機器人，就是做不精準。
Anthropic、ChatGPT的OpenAI等其他主要聊天機器人的開發商都表示，正致力於把自己的語文模型改得更務求真實。
但還要多久，語文模型才能開出醫療建議？有這個能力辦到嗎？都有待觀察。
華盛頓大學「電算語言學實驗室」(Computational Linguistics Laboratory)主任艾默莉‧班德(Emily Bender)表示，這個問題是解決不了的，科技與設想達成的目標，兩者之間本質上就配對錯誤。
很多事情都取決於生成式AI的可靠程度。OpenAI的執行長阿特曼(Sam Altman)6月造訪印度時，印度AI科學家巴格勒(Ganesh Bagler)問到AI妄想的問題，阿特曼只表示樂觀，認為要花一年半或兩年，問題就會改善多多，創造力與完全準確之間有所權衡，語文模型得先了解，你是要創造力還是完全精準。
