词元字典CIYUAN ZIDIAN

提示缓存

Prompt Caching
重复出现的提示词前缀被服务端缓存,再次使用时按更低的价格计费。

解释

如果你每次请求都带着同一段很长的系统提示词或同一份文档,开启缓存后,命中缓存的部分会按优惠价计费,响应也更快。

缓存只对“完全相同的开头部分”生效:把固定内容放前面、变化的内容放后面,命中率才高。各家的缓存规则(自动还是手动、保留多久、写入是否加价)不一样。

常见误解

✕把时间戳之类每次都变的内容放在提示词开头,导致永远命中不了缓存。

相关词条