幻觉
幻觉是指 AI 把不真实或没有依据的内容当作事实一样自信地生成出来的现象。
通俗解释 这类似于有人被问到不知道的问题时,不说“不知道”,而是编出一个听起来合理的说法。不过,AI 并不是故意欺骗,而是其生成貌似合理的句子的方式本身导致的问题。
工作原理
语言模型生成文字的标准不是“是否属实”,而是“接下来可能出现什么话”。因此,当学到的信息不足或遇到模糊的问题时,它可能生成形式上像模像样、内容却错误的回答。不存在的论文标题、错误的数字、编造的引文就是典型例子。
为什么重要
幻觉表面上看起来很自然,用户很难察觉。在医疗、法律、金融等对准确性要求很高的领域,可能造成重大损失。因此,在实际业务中引入 AI 时,减少幻觉被视为核心课题。
注意事项
可以通过像 RAG 那样检索可靠资料并一并展示、或让模型标注出处等方法来减少幻觉。但普遍认为很难完全消除幻觉。重要信息最好务必回到原始出处再核实一遍。
示例
向聊天机器人询问某个主题的参考文献时,它有时会给出作者和标题看似合理、实际上并不存在的论文。许多 AI 服务在界面上加上“AI 可能会出错”之类的提示语,也正是因为这种幻觉。