什么是大语言模型的幻觉(Hallucination)问题

很多朋友在使用 ChatGPT 时，都抱怨过它有时候会"一本正经的胡说八道"，这其实就是大语言模型的幻觉问题。

去年6月美国曼哈顿地区法官决定，责令两个当地律师及其律师事务所支付总计 5000 美元的罚款，理由是这两位律师在此前提交给法院的一份简短的诉讼文件中，引用了由 ChatGPT 生成的 6 个虚构案例。

当时 Jerry 看到这个新闻，觉得这两个律师心太大了， 这操作简直秀的飞起，ChatGPT 生成的结果，也敢直接拿来用？

大语言模型 (Large Language Model) 的 “幻觉现象”，通常指的是模型在生成文本时可能会产生看似合理但实际上并不存在的信息或场景。这种现象源于模型的训练数据，以及其在生成文本时的创造性能力。对于 GPT 模型而言，它是一种基于上下文的生成模型，其预测是基于先前的文本序列。

在实际应用中，由于模型的复杂性和对大量数据的学习，它可能会在生成文本时添加一些虚构的元素，这就是所谓的 “幻觉现象”。这并不是模型有意为之，而是因为在训练时它学到了语言的统计规律，有时在生成文本时可能产生一些不合逻辑或与实际情况不符的内容。

举例来说，假设我们使用一个训练有素的大语言模型来完成下面的任务：“描述一只翅膀上有独角兽的猫”。由于模型在训练数据中可能存在关于猫、翅膀和独角兽的描述，它可能会生成一些看似有逻辑但实际上毫无现实依据的句子，比如：“这只猫展开了它的翅膀，上面栖息着一只迷人的独角兽”。这种情况下，模型产生了幻觉，因为现实中并不存在翅膀上有独角兽的猫。

这一现象的发生主要是因为大语言模型在学习语言时是通过大规模的文本数据集，其中既包括了现实世界的信息，也包括了虚构、小说、幻想等内容。模型在学习过程中努力捕捉语言的统计规律，但有时候会过度泛化或误解某些概念，导致生成的文本与实际情况脱节。

要解决这一问题，通常需要通过更精细的调参、更多样化的训练数据以及更复杂的模型结构来提高模型的表达能力和理解力。此外，对生成结果进行后处理和过滤也是减少 “幻觉现象” 的一种手段。