并发与限速
普通用户建议并发设为 1。具体 RPM、TPM 和账户额度尚未公开,控制台信息优先。
四个容易混淆的概念
| 概念 | 含义 |
|---|---|
| 并发数 | 同一时刻仍在处理的请求数量 |
| RPM | 每分钟允许发起的请求数量 |
| TPM | 每分钟允许处理的 Token 数量 |
| 429 | 当前请求触发某类频率或资源限制 |
它们不是同一个限制。即使并发只有 1,连续重试也可能触发 RPM;单个长上下文请求也可能触发 TPM 或模型侧限制。
限速由什么决定
同类平台常见的限速决定因素包括账户档位、额度、模型侧限制和上游状态。牛API的具体规则尚未公开,接入时以控制台展示为准:
- 免费或低额度档位可能对应更低的请求频率上限;
- 不同的账户或模型可能有不同的 RPM、TPM;
- 一次性并发过高(尤其是多客户端共用 Key)会更快触发限速。
因此建议:不同客户端使用独立 Key、保持并发 1、收到 429 后退避重试,而不是反复并行重试。具体上限请在控制台确认,不要依赖本文档的固定数值。
推荐设置
- 日常聊天和首次配置:并发
1; - 编程 Agent:先关闭多 Agent、自动并行与激进重试;
- 每个客户端使用独立 Key,避免相互争抢限额;
- 收到 429 后使用退避重试,不要立即并发补发;
- 多人不要共享同一个 Key,否则难以追踪消耗和撤销权限。
编程 Agent 的请求特征
编程工具可能自动读取上下文、压缩历史、调用工具和再次验证,因此用户只输入一次也可能产生多次请求。出现消耗异常时,先暂停任务并检查客户端日志、控制台用量、并发配置和自动重试。
不公开的内部信息
文档不会披露上游账号、账号来源、代理节点、账号池凭据、内部故障切换细节或任何绕过限制的方法。