Gemini 和其他生成式 AI 模型可精细地处理输入和输出 称为“令牌”。
本指南将介绍如何获取 特定模型的上下文窗口以及如何 计算词元数量,适用于文本输入、聊天、多模态等应用场景 输入、系统说明和工具。
关于令牌
词元可以是单个字符(如 z
),也可以是整个字词(如 cat
)。长字词
被分解为多个词元。模型使用的所有词元的集合是
这个过程称为词汇表,将文本拆分为词元的过程称为
词元化。
对于 Gemini 模型,一个词元大约相当于 4 个字符。 100 个词元大约相当于 60-80 个英语单词。
启用结算功能后,Gemini API 的通话费用为 部分取决于输入和输出词元的数量, 会很有帮助。