分词器
Tokenizer
把文字切成词元、再把词元转回文字的那套规则。每家模型各用各的。
解释
分词器决定了一段文本会被切成多少个词元。OpenAI、Anthropic、Google 的模型用的分词器都不一样，同一模型家族的新旧版本之间也可能换过。
这就是为什么“同样一篇文章，换个模型价格不一样”——单价不同之外，词元数本身也不同。
常见误解
✕以为分词器是通用的，拿一个模型的计数工具去估另一个模型的费用。
分词器决定了一段文本会被切成多少个词元。OpenAI、Anthropic、Google 的模型用的分词器都不一样，同一模型家族的新旧版本之间也可能换过。
这就是为什么“同样一篇文章，换个模型价格不一样”——单价不同之外，词元数本身也不同。