跳转至

速率与限流

位于「系统设置 > 速率限制设置」。

全局速率限制

通过环境变量配置:

参数 说明 默认值
GLOBAL_API_RATE_LIMIT 单 IP 三分钟内最大 API 请求数 180
GLOBAL_WEB_RATE_LIMIT 单 IP 三分钟内最大 Web 请求数 60

模型级限流

在系统设置中可以针对特定模型设置限流规则:

  • 总请求数限制 — 限制某模型在指定时间窗口内的总请求数
  • 成功请求数限制 — 限制某模型的成功请求数

渠道自动禁用

开启 ENABLE_METRIC 后,系统会根据请求成功率自动禁用异常渠道:

  • METRIC_QUEUE_SIZE — 统计队列大小(默认 10)
  • METRIC_SUCCESS_RATE_THRESHOLD — 成功率阈值(默认 0.8)