词元
Token
模型读写文字的最小单位。计费、上下文长度、速度都按它算。
解释
模型不是一个字一个字地读,而是先用分词器把文本切成一段段“词元”。英文里一个常见单词往往是 1 个词元,长词会被拆成几段;中文没有固定换算,一个汉字可能是 1 个词元,也可能更多,取决于模型用的分词器。
所以同一段中文,在不同模型上算出来的词元数可能差不少。要估费用,最靠谱的办法是看接口返回的 usage 字段,而不是按字数折算。
例子
接口返回里的 "usage": {"prompt_tokens": 812, "completion_tokens": 240},就是这次请求实际消耗的输入和输出词元。常见误解
✕“1 个汉字 = 1 个词元”。不同模型差异很大,只能当粗略估计。