为什么人工智能会产生幻觉？OpenAI的研究

# AI为什么会产生幻觉？OpenAI 研究

语言模型会产生幻觉，因为标准的训练和评估程序鼓励猜测而不是承认不确定性。这在OpenAI的研究论文中提到。

在公司中给出了以下问题的定义：

《幻觉是由语言模型产生的看似真实但虚假的陈述。它们可能以意想不到的方式出现在对看似简单的问题的回答中。》

例如，当研究人员问“广泛传播的聊天机器人”关于亚当·陶曼·卡莱的博士论文题目(和文章作者)时，它自信地给出了三个不同的答案，而没有一个是正确的。当问到他的生日时，人工智能给出了三个错误的日期。

根据OpenAI的观点，幻觉的存在部分是因为现代评估方法设定了错误的激励，使得神经网络"猜测"答案中的下一个符号。

作为类比，举了一个例子，即当一个人不知道测试问题的正确答案时，但可以猜测并偶然选择正确答案。

![](http://img-cdn.gateio.im/social/moments-ea976fc9eb9ecf1547b0d54a0cda8862019283746574839201两个模型答案的正确性比较。资料来源：OpenAI。

"假设有人问语言模型某人的生日，但它不知道。如果它猜测是“9月10日”，正确回答的概率是365分之一。回答“我不知道”保证得分为零。在经过千次测试问题后，基于猜测的模型在显示屏上的表现看起来比允许不确定性的精确模型要好，" 研究人员解释道。

从准确性的角度来看，较旧的 OpenAI 模型 — o4-mini — 的表现稍微好一些。然而，它的错误率明显高于 GPT-5，因为在不确定情况下的战略性猜测提高了准确性，但也增加了幻觉的数量。

原因与解决方案

语言模型最初通过“预训练”来训练——这是在大量文本中预测下一个单词的过程。与传统的机器学习任务不同，这里没有附加在每个声明上的“真/假”标签。模型只能看到正面的语言示例，并且必须近似总体分布。

«更难以区分正确的陈述与错误的陈述，当没有标记为错误的示例时。但即使有错误标记，错误也是不可避免的，» — OpenAI 强调。

公司提供了另一个例子。在图像识别中，如果数百万张猫和狗的照片被相应标记，算法就会学会可靠地对它们进行分类。但是，如果每张宠物的照片都按照出生日期进行分配，这个任务总是会导致错误，无论算法多么先进。

同样，文本也是如此——拼写和标点遵循固定的规律，因此随着规模的增长，错误会消失。

研究人员声称，仅仅引入“考虑不确定性的几个新测试”是不够的。相反，“基于精度的广泛使用的评估需要更新，以使其结果排除猜测的尝试。”

«如果主要的[评估]标准继续鼓励成功的猜测，模型将继续学习如何猜测，» OpenAI表示。

我们提醒，在五月份，ForkLog曾报道，幻觉仍然是人工智能的主要问题。