提示缓存
Prompt Caching
重复出现的提示词前缀被服务端缓存,再次使用时按更低的价格计费。
解释
如果你每次请求都带着同一段很长的系统提示词或同一份文档,开启缓存后,命中缓存的部分会按优惠价计费,响应也更快。
缓存只对“完全相同的开头部分”生效:把固定内容放前面、变化的内容放后面,命中率才高。各家的缓存规则(自动还是手动、保留多久、写入是否加价)不一样。
常见误解
✕把时间戳之类每次都变的内容放在提示词开头,导致永远命中不了缓存。
如果你每次请求都带着同一段很长的系统提示词或同一份文档,开启缓存后,命中缓存的部分会按优惠价计费,响应也更快。
缓存只对“完全相同的开头部分”生效:把固定内容放前面、变化的内容放后面,命中率才高。各家的缓存规则(自动还是手动、保留多久、写入是否加价)不一样。