流式输出与错误重试

工程实践 · 12 分钟阅读 · 更新于 2026-08-28

流式输出让用户更早看到第一个字，但它也改变了错误处理方式：请求可能在输出一半时中断。

重试的边界

只对可恢复错误重试：429、网关超时和部分 5xx。每次重试等待 0.5s × 2^n，并设置最大次数。已经产生副作用的工具调用，不要盲目重放。

客户端提示

前端要区分“正常结束”和“中途断开”，给用户一个可继续操作的状态，而不是把半句话当成完整答案。服务端则要记录 request id，方便定位单次链路。