词元字典CIYUAN ZIDIAN

词元

Token
模型读写文字的最小单位。计费、上下文长度、速度都按它算。

解释

模型不是一个字一个字地读,而是先用分词器把文本切成一段段“词元”。英文里一个常见单词往往是 1 个词元,长词会被拆成几段;中文没有固定换算,一个汉字可能是 1 个词元,也可能更多,取决于模型用的分词器。

所以同一段中文,在不同模型上算出来的词元数可能差不少。要估费用,最靠谱的办法是看接口返回的 usage 字段,而不是按字数折算。

例子

接口返回里的 "usage": {"prompt_tokens": 812, "completion_tokens": 240},就是这次请求实际消耗的输入和输出词元。

常见误解

✕“1 个汉字 = 1 个词元”。不同模型差异很大,只能当粗略估计。

相关词条