速率与限流¶
位于「系统设置 > 速率限制设置」。
全局速率限制¶
通过环境变量配置:
| 参数 | 说明 | 默认值 |
|---|---|---|
GLOBAL_API_RATE_LIMIT |
单 IP 三分钟内最大 API 请求数 | 180 |
GLOBAL_WEB_RATE_LIMIT |
单 IP 三分钟内最大 Web 请求数 | 60 |
模型级限流¶
在系统设置中可以针对特定模型设置限流规则:
- 总请求数限制 — 限制某模型在指定时间窗口内的总请求数
- 成功请求数限制 — 限制某模型的成功请求数
渠道自动禁用¶
开启 ENABLE_METRIC 后,系统会根据请求成功率自动禁用异常渠道:
METRIC_QUEUE_SIZE— 统计队列大小(默认 10)METRIC_SUCCESS_RATE_THRESHOLD— 成功率阈值(默认 0.8)