文档摘要
帮助用户理解失败调用、预算拦截和上游报错的结算差异。
通常不计费的情况
- 请求在进入上游 Provider 之前被预算或余额拦截。
- 用户输入校验失败。
- 模型未启用或 API Key 无权限。
可能计费的情况
- 请求已发送到上游 Provider,且上游产生 token 用量。
- 流式输出中途断开,但上游已经生成部分内容。
- 供应商按请求或缓存策略产生了费用。
审计建议
失败调用也应记录状态和原因。即使不扣费,也应保留失败记录,方便管理员排查模型、密钥、预算和供应商问题。
说明不同失败类型是否应产生费用记录。
帮助用户理解失败调用、预算拦截和上游报错的结算差异。
失败调用也应记录状态和原因。即使不扣费,也应保留失败记录,方便管理员排查模型、密钥、预算和供应商问题。