【技术分享】什么是Token？为什么GPT基于Token定价

在使用LLM大模型时，我们经常会遇到一个关键词，叫：Token。

比如：

最新版 GPT-4 Turbo 模型最高支持 128k token 上下文；

曾经 GPT 最强对手 Claude-2.1 支持最高 200K token 上下文；

在 GPT 商店创建角色时，核心 Prompt 最高支持 8000 token。

1. 什么是 Token？

GPT不是直接做的“字符”的计算,而是将字符变成一个数字,也就是变成了 token 来处理。

所以Token通常指的是：文本中可以被视为一个单独单位的元素，比如单词、数字或符号。

比如：我们文章经常用到的开篇问候，“大家好，我是运营黑客。”

其中每个词、标点“大家”、“好”、“我”、“是”、“运营黑客”，以及中间出现的“，”和“。”，都可以被视作一个 Token。

对于文本类生成式AI来说，“Token”扮演着至关重要的角色。我们跟 ChatGPT 对话时，它通常分两步走：

第一步：将输入的内容分解成一个个 Token；
第二步：结合这些 Token 生成回应。

2.GPT如何计算token数？

了解Token含义后，就很容易的明白token计费逻辑。

GPT token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。

例如，你提问耗费了 100 token，GPT 根据你的输入，生成文本（也就是回答）了 200 token，那么一共消费的 token 数就是 300 。

在实际定价的过程中，因输入和输出token所带来的成本差异，所以会区分定价。

包含GPT在内的几乎所有的LLM的API都采用了Token计费模式：

例1：

例2：

例3：

基于Token计费模式，第一符合产品对象增量属性；第二符合边际成本的增量属性；对开发者来说是最容易接受和理解的一种模式。

参考链接：

https://www.zhihu.com/question/594159910/answer/3356500890

https://www.zhihu.com/question/594159910/answer/2972923596

https://3ms.huawei.com/km/groups/3664365/blogs/details/13643749