Repository navigation
[PR] fix: isolate gateway model-scoped 429 holds - #5696
ranxianglei merged 3 commits into
Conversation
ranxianglei#5696) Both interfaces are only referenced inside src/upstream-throttle.ts (makeReject return type, gate factory return type); nothing imports them from another module, so the unused-exports gate flags them as INTERNAL_ONLY. Drop the leading export per the gate's own instruction.
…anxianglei#5696) The PR updated CONFIGURATION.md/CONFIGURATION.zh-CN.md for the new model-scoped hold semantics but left the website/config-reference seeds on the old wording, so docs-sync regeneration reverted the two rows (throttle429Enabled, throttle429MaxConsecutive). Point the seeds at the committed text; generator output is now byte-exact.
(ai: vllm-qwen/qwen3.8-27b) 七问(CI 自动修复,attempt 1/3)
已在 CI 总控 #4599 留了一行结论。等远程重跑结果;如仍红我会在后续 attempt 继续处理。 |
(ai: vllm-qwen/qwen3.8-27b) 状态确认(重复触发,无需新动作):本条通知引用的仍是修复前的 head 当前远程重跑(run 41918101310)进行中:test 分片 running,unused-exports / docs-sync 尚未出结果。若重跑仍红,attempt 2/3 会继续处理;目前不需要决策项。 |
(ai: vllm-qwen/qwen3.8-27b) 查重:同家族——与 #5201(镜像)/ GitHub PR #5207 是同一机制上的两个并行在途修复。 两者都改 标签:bug、scope/wiring、p1(理由:特定触发条件下——网关返回模型专属 429 且多模型共享凭据——受影响模型被终局 424 本地拦截,回合被丢弃,无自动恢复路径直到幸运探测或重启;属可用性缺陷)。 当前状态:draft;head 审核进度:已通读全部 diff(15 文件,+2431/−181)、基线代码与两个后续提交,独立完成了方向审查、回归面清点与测试有效性审查。完整结论稍后以八问体例在本线程补发。 |
(ai: vllm-qwen/qwen3.8-27b) PR #5696 审核结论(八问) —— 独立通读全部 diff(15 文件,+2431/−181)、基线代码与两个后续提交后给出。
测试有效性:真测试,断言有牙——正负行成对(marker 严格性矩阵含 keyring_all_limited/GoUsageLimitError/畸形/超大 body 负例;跨模型不清除;外来 token 不能释放;one-shot settle;容量/驱逐边界;reservation 全出口释放矩阵);三组 hermetic 服务端集成测试(relay 主车道/side-lane/链式 relay)驱动真实 proxy 端到端;一组真实计时并发测试钉住 250ms 回调预算与异步 settle 时序。上述每项行为变更都有测试钉住。小缺口:Google 非流 side-lane 不被误判为流的负例没显式写(依赖既有分类器自己的覆盖)。 CI 现状(head 判定:代码质量达标(②b 清单全过:命名达意、无死代码、常量具名、注释讲为什么、风格一致、错误信息带上下文),无需对齐重构。代码本身可合——待 CI 全绿 + 作者 E2E + 撤 draft;但必须先解决与 #5207 的收敛问题(谁合入决定另一个的命运),见下条 🔶 评论。 |
🔶 需要决策 背景一句话:同一失败域(429 governor hold 键粒度)上有两个并行在途 PR——GitHub PR #5207(agent 所写,修 #5201,CI 已全绿、其线程内已审为可合)与本 PR #5696(外部贡献,draft,修 #5695)——两者设计互斥,合入顺序决定另一个的命运。 待决问题:哪个设计胜出?
我的推荐:A。理由:#5695/#5201 的用户场景里「账号级配额必须全凭据持有」是硬需求,选项 B 恰好在这点上回退;本 PR 的证据收窄在两个方向上都更保守(该窄的窄、不该窄的不窄),且把 provisional/异步 settle/probe token 所有权这些并发细节都钉了测试。若 owner 更看重「尽快止血」,B 是次优但可接受的过渡(接受共享池 ramp-up 代价)。 不决定的默认行为:两个 PR 都保持现状不动(本 PR 维持 draft,#5207 维持 open),master 继续跑旧行为,#5201/#5695 的用户在触发条件下继续吃本地 424。我不会替 owner 关任何一个。 |
ranxianglei
left a comment
There was a problem hiding this comment.
(ai: vllm-qwen/qwen3.8-27b)
APPROVE — 独立完整复审(全 diff + 基线代码 + 两个 CI 修复提交),本地定向实测通过。
八问:
-
是什么问题:多模型共享同一网关凭据时,某个模型被限流(网关返回模型专属 429)会把同凭据的无关模型一起拖死——先被本地 429 拦截,连续命中后升级为终局 424(在所有 SDK 重试集合之外),回合直接丢弃,直到幸运探测或进程重启才可能恢复。而账号级配额错误必须继续全凭据持有(#5695 明文要求)。
-
什么原因导致的:
src/upstream-throttle.ts(#4204 governor)hold 表键粒度只有 origin+credential,把一切 429 一律当「这个凭据额度耗尽」;模型专属 429(keyring_model_temporarily_unavailable)只说明单个模型不可用——对它是错误泛化。修在决策点(键粒度 + 证据判定 + probe 所有权),不是症状层拦截。 -
影响范围与严重程度:触发条件 = 网关返回结构化模型专属 429 且多模型共享同一 origin+credential。触发时受影响模型完全不可用(终局 424 丢回合);绕行 = 热关
network.throttle429Enabled(但连 #4204 的反放大保护一起丢)→ p2(与同家族 #5201/#5695 口径一致)。不触发的部署(每凭据单模型、网关不回结构化标记)行为零变化。 -
怎么修复的(机制层):证据收窄而非统一重键——仅当 429 body ≤16KB 可完整解析、携带 KeyRing 精确模型限额标记、且响应模型与请求模型逐字相同时,hold 才收窄到 origin+credential+model;链式 bili 本地 hold 以
code=bili_throttle_hold+scope=model识别并保留模型作用域;其余一切(账号配额标记、畸形/超大/无法识别 body)保持旧的全凭据 hold(fail-safe)。continuation-refetch 路径引入「provisional 观察 + 异步 settle」:先按账号级保守持有,429 后后台读 ≤16KB body,在 250ms 回调预算内分类收窄,客户端可见结果永不被拖延;分类槽位 64/账号 × 64 账号封顶防状态无界增长。probe 所有权从 slot 先到先得改为 Symbol token:完成只释放自己拥有的 slot,别家请求的成功不会放掉在途探测,传输失败/取消只释放自己的 token、不清 hold。 -
是否有回归问题(既有行为逐项清点):
- 账号级 429 的 arm/指数退避/jitter/Retry-After 600s 上限/probe TTL 30s/表容量 64/终局 424 逻辑:零变化(同一 createHoldState/makeReject)。
- 「任意非 429 清 hold」→ 收紧为「清同作用域 hold」:任意成功仍清账号级 hold(旧语义保持);模型级 hold 只被同模型成功清除(有意变更,最坏延迟有界——30s probe TTL 自过期 + 退避窗口到期兜底,不会永久锁死)。
- 门禁位置不变(non-GET/HEAD、fetch 前);loop 车道保持 observe-only;degenerate-retry 阶梯有界语义保持;ws-1009 shed/错误日志/dump 路径未动,仅在 rethrow 路径补 probe token 释放(gate 后全部提前返回已枚举:唯一无 token 的提前退出是本地 reject 本身)。
- side-lane 流判定扩展到 Google
streamGenerateContent/ Vertex:streamRawPredict路径编码 SSE(顺带小修,PR 正文已声明:此前这类路径编码流被当非流处理,render-tag 清理缺失)。 - 表满驱逐:64 个已确认账号 hold 占满表时,新 model hold/provisional 观察静默丢弃(fail-open,可用性>保护,与 #3128 立场一致);已确认账号 hold 永不被 model hold 挤出。
- 阈值/时序/公式零漂移,fail-fast 未变吞错,wire 保真不受影响。
-
是否破坏缓存:不涉及(前缀缓存/快照账本/增量游标/pf-* 握手均未触碰;改动纯出站治理状态机)。
-
是否改了设计方向:无架构转向——仍是 #4204 governor(同 knobs、同生命周期、同有界表),只是键粒度细化 + probe 所有权改造。
⚠️ 注意:同失败域另有并行在途 PR #5207(对所有可识别模型统一加模型维度),两者设计互斥;收敛哪个等 owner 裁决(本线程已有 🔶 需要决策评论,推荐选项 A = 采用本 PR 的证据收窄)。若 owner 选 B,本 PR 应关闭而非合并。 -
是否引入新配置:没有。零新增 env/config/CLI 面;仅重写既有两个 knob(throttle429Enabled/throttle429MaxConsecutive)的描述文案,YAML 种子已同步,docs-sync gate 实测通过。
测试有效性:真测试、断言有牙——分类 truth-table 正负成对(含 keyring_all_limited/GoUsageLimitError/畸形/超大 body 负例)、跨模型不清除、外来 token 不能释放、one-shot settle、容量/驱逐边界、reservation 全出口释放矩阵;三组 hermetic 服务端集成测试(relay 主车道/side-lane/链式 relay)驱动真实 proxy 端到端;真实计时并发测试钉住 250ms 回调预算。每项行为变更都有测试钉住。小缺口(不阻塞):Google 非流 side-lane 不被误判为流的负例依赖 googlePathKind 自身覆盖,未在本 PR 显式加行。
验证实测(head 1d59391):五个改动测试文件本地 60/60 通过;tsc --noEmit clean;guard lanes 全绿;主 test 矩阵因 draft 状态 skip(draft 撤下后跑全量);作者自述真实 Codex E2E 仍未验证(其保持 draft 的原因之一)。
判定:代码质量达标(命名达意、无死代码、常量具名、注释讲为什么、风格一致、错误信息带上下文),无需对齐重构,无 REQUEST_CHANGES 项。Approve = 代码过审;合入与否取决于 owner 的 A/B/C 收敛裁决 + 撤 draft + 作者 E2E。
(ai: vllm-qwen/qwen3.8-27b) 复审完成,正式 GitHub APPROVE 已提交 → #5696 (review) 本轮是同一 head
八问摘要(完整版本在上面的 GitHub review):
标签:不变(bug / scope/wiring / p2,见 floor 13)。 状态一行(report):review-worker-r1 完成 #5696 复审——APPROVE 已提交、无阻塞发现、无需 🔶 新决策;剩余卡点全部在 owner/作者侧:A/B/C 收敛裁决(floor 12)、撤 draft、作者真实 Codex E2E。#5207 仍 open 未合(mergeable_state=behind),维持现状等拍板。 |
📦 Merged Build PublishedThis merge to master was published as npm install -g billion-context@0.0.1037-master.0aace2f # this exact build
npm install -g billion-context@master # always the newest merged build
|
…mpress gate, ranxianglei#5686 dsh drift consolidation, ranxianglei#5696 model-scoped keyring 429 Ride-along upstream work that landed after c9ba485: - ranxianglei#5683 forbid unprompted / out-of-bounds compression - ranxianglei#5686 dsh drift consolidation (last native-compaction leak window) - ranxianglei#5696 model-scoped KeyRing rate-limit holds - ranxianglei#5661 incremental-lane credential headers, ranxianglei#5656 single-shot sidecar - ranxianglei#5644 watcher registration recovery, ranxianglei#5635 restart survival Overlap with this lane is limited to regenerated artifacts (CONFIGURATION*.md) and to the shared relay/core seams, both auto-merged. No source conflict. Verified after rebuilding kernel: issue5175 58/0, tag-echo 79/0, issue2190-degen-close 32/0, golden-storage-render 5/0, storage-engine-proofs 12/0, native-compact-terminal 1/0, plugin-passthrough-tag-strip-chat 20/0, plus the newly arrived ranxianglei#5683/ranxianglei#5686/ranxianglei#5656/ranxianglei#5658/ranxianglei#5631/ranxianglei#5641 suites all green. tsc clean, four gates clean, config docs a fixed point.
…for marker-less gateway 429s Implements ranxianglei#5853 decision 1 option A (recommended); decision 2 unchanged (streak-1 arming kept). Default "credential" preserves ranxianglei#5696 semantics — zero behavior change without opt-in. - knobs: BILI_THROTTLE_429_SCOPE > network.throttle429Scope > "credential", read per settlement (hot flip) - upstream-throttle: throttle429ModelScope() — recognized KeyRing/bili-relay markers win as before; scope=model settles marker-less 429s (RPM/quota text, opaque relay rewrites) on the request model; model-less sends stay credential-wide - relay/loop/degenerate-retry lanes settle through the wrapper - docs: CONFIGURATION en/zh + website seed regenerated, LIFECYCLE env row - tests: tests/issue5199-throttle429-scope.test.ts (6 rows, both directions)
Fixes #5695
Summary
Verification
Prepared with AI assistance (openai-codex/gpt-6.1-terra and delegated agents).