流式输出
Streaming
模型一边生成一边返回,而不是写完整段再一次性给你。
解释
开启流式(stream: true)后,接口会以 SSE(服务器发送事件)的形式一小段一小段地推送内容,聊天界面里“逐字出现”的效果就是这么来的。
流式不会更省钱,但用户能更早看到结果。代理或反向代理如果开着缓冲,流式会变成“卡一会儿再一次性出来”。
常见误解
✕以为流式能降低费用。
开启流式(stream: true)后,接口会以 SSE(服务器发送事件)的形式一小段一小段地推送内容,聊天界面里“逐字出现”的效果就是这么来的。
流式不会更省钱,但用户能更早看到结果。代理或反向代理如果开着缓冲,流式会变成“卡一会儿再一次性出来”。