浅谈大语言模型的 Presence Penalty 参数

笔者在实际工作中，需要对大语言模型进行参数调优，其中打交道比较多的参数，就是本文标题的 Presence Penalty.

本文分享笔者工作中学到的一些粗浅的知识点。

大语言模型的基本工作机制

大语言模型，比如 OpenAI 提出的 GPT-3，它的基本构建模块是 Transformer 架构。Transformer 使用了自注意力机制 (Self-Attention) 和前馈神经网络 (Feedforward Neural Network)，通过多个层次 (Layers) 进行堆叠，从而能够学习到非常复杂的语言模式。

这些模型通过训练大量的文本数据，学习输入与输出序列之间的关系。当我们给模型输入一个文本序列时，模型会根据训练中学习到的知识，预测下一次可能出现的词汇，从而生成相应的文本。在这个过程中，模型生成的每一个单词都是基于前文的上下文信息和已生成的单词进行计算的。

什么是 Presence Penalty

Presence Penalty 是一种用于调节模型生成文本中词汇重复度的参数。具体来说，Presence Penalty 通过对已经生成的词汇进行惩罚，减少同一个词重复出现的概率，从而增加生成文本的多样性。这个参数的作用在于平衡生成文本的连贯性和多样性。可以简单理解为：Presence Penalty 值越高，模型倾向于避免重复使用相同的词汇，从而生成的文本会更加多样化；相反，Presence Penalty 值较低时，模型更容易重复使用相同的词汇，生成的文本可能更加连贯但重复度较高。

Presence Penalty 的作用机制

在模型生成文本的过程中，Presence Penalty 是通过对词汇的概率进行直接调整来实现的。每次模型生成一个词时，会根据词汇表中每个词的概率分布进行采样。这个概率是通过 Softmax 函数计算得到的，Softmax 函数将模型输出的原始分数 (Logits) 转换为一个概率分布。

在应用 Presence Penalty 之前，假设模型生成词汇的概率分布为 P(w)，其中 w 表示词汇。在应用 Presence Penalty 后，对已经生成过的词汇，我们会减少它们的概率值。具体来说，如果某个词已经在生成的文本中出现过，通过应用 Presence Penalty，将该词的概率 P(w) 进行一定的削弱，从而减少它再次被选中的可能性，实现多样化。然而，这个削弱并不会将词的概率降到零，而是进行一定的衰减以保持生成文本的可读性和连贯性。

探讨 Presence Penalty 的影响

为更好地理解 Presence Penalty 对文本生成的影响，我们可以设想一个具体的例子。

假设我们希望用一个 GPT-3 模型生成一段关于人工智能的介绍：

首先看没有应用 Presence Penalty 的情况：

1. 用户输入：“人工智能 是一种”
2. 模型可能生成：“人工智能 是一种 模拟人类 智能 行为 的 技术。 人工智能 系统 可以 学习 和 适应 新的 数据 和 环境…”

可以看到，由于没有应用 Presence Penalty，模型重复了人工智能这个词并且生成的文本中出现较多重复的词汇。

再来看应用 Presence Penalty 的情况：

1. 用户输入：“人工智能 是一种”
2. 模型生成：“人工智能 是一种 模拟人类 智能 行为 的 技术。 在 多个 领域中， 例如 医学、 计算机 科学、 机器人…”

在这个例子中，由于应用了 Presence Penalty，模型避免了重复使用人工智能这个词，并且在生成的内容中出现了更多样化的词汇和表达方式。这使得生成的文本更加丰富和多样，阅读起来也更自然。

Presence Penalty 与其他参数的结合

Presence Penalty 通常与其他参数，比如 Temperature 和 Top-k/Topp 采样策略结合使用，可以共同调节模型生成文本的风格和特点。

• Temperature：决定了模型生成词汇时的随机性。当 Temperature 增高时，概率分布会更加平坦，模型生成的词汇更多样化，但也可能包含更多错误和不连贯的内容。与 Presence Penalty 结合时，可以进一步增加文本生成的多样性。
• Top-k/Topp 采样：Top-k 采样是从概率分布中选择前 k 个最有可能的词汇进行采样，而 Topp 采样则选择使得累积概率超过某个阈值 p 的词汇进行采样。与 Presence Penalty 结合时，可以确保生成的词汇既符合上下文，又具备一定的多样性。

实际应用中的效果

Presence Penalty 在实际应用中的效果是显著的，特别是在需要生成长文本或对话的场景中。例如，在自动生成新闻报道、写作辅助工具、多轮对话系统等应用中，Presence Penalty 可以显著提高生成内容的质量。不仅可以避免文字的机械重复，同时也能让生成的内容更富有创造力和多样性。

例如，在一个多轮对话系统中，如果我们希望使对话更加自然和更接近人类之间的聊天模式，应用适当的 Presence Penalty 就显得尤为重要：

1. 用户输入：“你对 科幻小说 怎么看？”
2. 模型生成：“科幻小说 是 一种 …科幻小说 让人 …”

通过应用 Presence Penalty 调节参数：

1. 用户输入：“你对 科幻小说 怎么看？”
2. 模型生成：“科幻小说 是 一种 非常 有趣 的 文学 形式，它 通过 描述 未来 或者 超现实 的 场景 来 吸引读者。 很多 科幻小说 作家 能够 预见 科技 的 发展 方向…”

可以看到，应用了 Presence Penalty 之后，模型生成的文本避免了重复，并且内容更加充实和多样化。

参数调优的实际操作

调优 Presence Penalty 参数通常需要一些实验和反馈。通常情况下，我们会从一个中等的值开始，比如 0.5，观察模型生成的文本质量和多样性。如果文本重复度较高，可以逐步增加该参数；如果发现生成文本过于散乱或不连贯，则可能需要适当降低该参数。

需要注意的是，Presence Penalty 并非单独作用的参数，它和 Temperature、Top-k/Topp 及其他参数的结合使用，需要综合考虑实际应用场景的需求：

• 如果需要高创意、高多样性的文本生成，应适当提高 Presence Penalty 和 Temperature。
• 如果需要高连贯性、较低错误率的生成结果，则应降低 Presence Penalty 和 Temperature，同时适当调整 Top-k 或 Topp。

存在的挑战与前瞻

虽然 Presence Penalty 在文本生成中具有显著的优势，但它也存在一些挑战。比如，过高的 Presence Penalty 可能导致上下文连贯性下降，生成的句子彼此之间关联性不足。在多语言模型或多领域应用中，平衡 Presence Penalty 与其他参数的组合，仍然是一个持续的研究领域。

未来，有望通过更智能的动态调整策略，使模型能够根据上下文自动调节 Presence Penalty 等参数，进一步提升生成文本的质量和多样性。例如，通过强化学习算法，使模型能够在生成过程中实时学习和调整这些参数，从而实现自适应的文本生成效果。