Skip to content

[PR] fix: isolate gateway model-scoped 429 holds - #5696

Merged
ranxianglei merged 3 commits into
ranxianglei:masterfrom
Aswin-Ram-K:2026-11-04_model-scoped-keyring-429
Nov 5, 2026
Merged

ranxianglei merged 3 commits into
ranxianglei:masterfrom
Aswin-Ram-K:2026-11-04_model-scoped-keyring-429

Conversation

@Aswin-Ram-K

Copy link
Copy Markdown
Contributor

Fixes #5695

Summary

  • Scope verified model-local KeyRing 429 holds to the requested model; preserve credential-wide quota holds.
  • Keep continuation classification bounded, preserve probe ownership, and carry model scope through relay and side-lane paths.
  • Preserve side-lane streaming so existing render-tag cleanup applies.

Verification

  • Focused hermetic suites: 60 passed.
  • Typecheck and build passed.
  • Independent review found no remaining high-priority defects in the final scoped reservation changes.
  • Required real Codex E2E remains unverified: the configured Responses-compatible test upstream at 127.0.0.1:8199 was unreachable. Draft pending that check and full remote CI.

Prepared with AI assistance (openai-codex/gpt-6.1-terra and delegated agents).

@ranxianglei ranxianglei changed the title fix: isolate gateway model-scoped 429 holds [PR] fix: isolate gateway model-scoped 429 holds Nov 4, 2026
ci-check added 2 commits November 5, 2026 05:39
ranxianglei#5696)

Both interfaces are only referenced inside src/upstream-throttle.ts
(makeReject return type, gate factory return type); nothing imports
them from another module, so the unused-exports gate flags them as
INTERNAL_ONLY. Drop the leading export per the gate's own instruction.
…anxianglei#5696)

The PR updated CONFIGURATION.md/CONFIGURATION.zh-CN.md for the new
model-scoped hold semantics but left the website/config-reference
seeds on the old wording, so docs-sync regeneration reverted the two
rows (throttle429Enabled, throttle429MaxConsecutive). Point the seeds
at the committed text; generator output is now byte-exact.
@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

七问(CI 自动修复,attempt 1/3)

  1. 是什么问题:PR 的两个检查红——unused-exports(src/upstream-throttle.ts 有两个导出无人引用)和 docs-sync(配置文档生成物与种子文件不一致)。均为 PR 自身问题,非 master 继承红。

  2. 什么原因导致的:① 作者新增的 ThrottleLocalReject、UpstreamThrottleGate 两个 interface 加了 export,但全仓只有 src/upstream-throttle.ts 内部引用(makeReject 返回类型、gate 工厂返回类型),没有任何模块 import——门禁判为 INTERNAL_ONLY;② 作者手改了 CONFIGURATION.md / CONFIGURATION.zh-CN.md 里 network.throttle429Enabled / throttle429MaxConsecutive 两行的描述(新模型级 hold 措辞),但没同步生成源 website/config-reference/process.yaml,docs-sync 重新生成后把这两行还原回旧文案,diff 非空。

  3. 影响范围与严重程度:纯 CI 门禁,零运行时行为影响;唯一后果是 PR 红着不能合。

  4. 怎么修复的:两个独立小 commit 推到 PR 分支(e248090ff → 1d59391):a) 去掉两个 interface 的 export 关键字(按门禁自己的修复指引,保留为模块内类型);b) 把 process.yaml 里这两个 key 的 EN/ZH 描述改成作者已提交的 .md 原文,让生成器输出与提交文件逐字节一致。本地实测:node scripts/check-unused-exports.mjs → clean;node tools/gen-config-docs.mjs generate && git diff --exit-code -- CONFIGURATION.md CONFIGURATION.zh-CN.md website/main.js website/docs/index.html → clean。PR head 已确认推进到 1d59391,远程 CI 重跑中。

  5. 是否有回归问题:无。去掉 export 不改任何代码语义(全仓 grep 确认无外部引用);docs 改动只是让种子追平作者已提交的文档措辞,方向是「保住 PR 想记录的新行为文档」而不是「退回旧文案」——若反向修(把 .md 改回旧文案),新模型级 hold 行为就没有文档了,那才是真回归。

  6. 是否破坏缓存:不涉及。

  7. 是否改了设计方向 / 引入新配置:都没有。没动任何行为、阈值、env 或 config 面。

已在 CI 总控 #4599 留了一行结论。等远程重跑结果;如仍红我会在后续 attempt 继续处理。

@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

状态确认(重复触发,无需新动作):本条通知引用的仍是修复前的 head e248090ff5。上一轮已完成修复并推送(PR head 现为 1d59391eb,两个独立 commit:去掉 src/upstream-throttle.ts 两个仅模块内使用的 export;website/config-reference/process.yaml 的 throttle429* 种子文案对齐已提交的 CONFIGURATION.md/zh-CN),本地两条门禁均实测通过,完整七问见上一条回复。

当前远程重跑(run 41918101310)进行中:test 分片 running,unused-exports / docs-sync 尚未出结果。若重跑仍红,attempt 2/3 会继续处理;目前不需要决策项。

@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

查重:同家族——与 #5201(镜像)/ GitHub PR #5207 是同一机制上的两个并行在途修复。 两者都改 src/upstream-throttle.ts 的 429 governor hold 键粒度,症状相同(一个模型的 429 把同凭据的其他模型拖进本地 429/424)。差异在策略:#5207 对所有可识别模型的 hold 一律加模型维度(统一重键);本 PR(#5696)只在网关返回结构化 KeyRing keyring_model_temporarily_unavailable 标记且响应模型与请求模型完全相同时才收窄到模型级,账号级配额 429 保持 origin+credential 全凭据持有。按 owner 政策(同症状 = 一个 issue)先到的 #5201 保留为主条目;两个 PR 如何收敛(哪个设计胜出)需要 owner 拍板,我会单独留一条「🔶 需要决策」评论说明选项,不开新 issue。

标签:bug、scope/wiring、p1(理由:特定触发条件下——网关返回模型专属 429 且多模型共享凭据——受影响模型被终局 424 本地拦截,回合被丢弃,无自动恢复路径直到幸运探测或重启;属可用性缺陷)。

当前状态:draft;head 1d59391eb(3 个提交:作者主修复 + CI 工程师按 unused-exports gate 内化两个接口类型 + 同步 website/config-reference YAML 种子);远程 CI 正在该 head 上跑(抓取时点:5 success / 14 skipped / 11 个 test 分片运行中,暂无失败);作者自述真实 Codex E2E 仍待验证。

审核进度:已通读全部 diff(15 文件,+2431/−181)、基线代码与两个后续提交,独立完成了方向审查、回归面清点与测试有效性审查。完整结论稍后以八问体例在本线程补发。

@ranxianglei ranxianglei added bug Something isn't working p1 scope/wiring labels Nov 4, 2026
@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

PR #5696 审核结论(八问) —— 独立通读全部 diff(15 文件,+2431/−181)、基线代码与两个后续提交后给出。

  1. 是什么问题:多模型共享同一网关凭据时,某个模型限流(网关返回模型专属 429)会把同凭据的无关模型一起拖死——先被本地 429 拦截,连续命中后升级为终局 424(在所有 SDK 重试集合之外),回合直接丢弃,直到幸运探测或进程重启才可能恢复。

  2. 什么原因导致的:hold 键粒度太粗。src/upstream-throttle.ts 的 governor 只按 origin+credential 记 hold,把所有 429 一律当"这个凭据额度耗尽";而模型专属 429(KeyRing keyring_model_temporarily_unavailable)只说明单个模型不可用——把账号级语义套到它上面是错误泛化。修在决策点(键粒度+证据判定),不是症状层拦截。

  3. 影响范围与严重程度:触发条件=网关返回结构化模型专属 429 且多模型共享同一 origin+credential(Web panel shows Failed to fetch on DSH Desktop: proxy rejects the dsh-desktop: origin (403) #5201/Model-specific upstream 429 can throttle unrelated models sharing a credential #5695 报告的正是该场景)。触发时受影响模型完全不可用(终局 424 丢回合),绕行手段(全局关 throttle429Enabled)会连 Provider 429 (concurrency-style limit): turn re-driven every few seconds for minutes, keeps the account pinned at the limit #4204 的反放大保护一起丢掉 → p1。不触发的部署(每凭据单模型、或网关不回结构化标记)行为不变。

  4. 怎么修复的(机制层):不用统一重键,用「证据收窄」——仅当 429 body 小到可完整解析、携带 KeyRing 精确模型限额标记、且响应模型与请求模型逐字相同时,hold 才收窄到 origin+credential+model;账号配额标记、无法识别/畸形/超大 body 一律保持旧的全凭据 hold。continuation refetch 的 body 可能 >1s 才读完,所以引入「provisional 观察 + 异步 settle」:先按账号级保守持有,body 读完后按证据收窄(精确匹配)或确认(歧义);settle 一次性、并发观察各自独立结算、分类槽位每账号封顶 64 防状态无界增长。probe 所有权从先到先得的 slot 改为 Symbol token:完成只释放自己拥有的 slot,别家请求的 200 不能放掉在途探测;取消的请求只释放自己的 token、不清 hold。

  5. 是否有回归问题(逐项清点既有行为):

    • 「任意非 429 清 hold」→ 收紧为「同作用域且持有该 slot 的探测所有权才清」:其他模型的 200 不再清本模型 hold(有意变更,文档已同步);最坏延迟有界——30s probe TTL 自过期兜底,不会永久锁死。
    • 本地 429/424 响应体新增 scope/model 两字段(有意变更,纯增量,仅 model hold 携带;用途是链式 bili relay 识别模型作用域;不识新字段的客户端不受影响)。
    • continuation refetch:同账号并发未决分类 ≥64 时第 65 次跳过重试、原样放行空回合并记 info 日志(有意变更,极端并发边缘,方向是保守不重试,正常路径不受影响)。
    • side-lane 流判定扩展到 Google path(:streamGenerateContent)与 Vertex Anthropic path(:streamRawPredict)的路径编码 SSE:顺带小修(此前这类 path 编码流被当非流处理,render-tag 清理缺失);PR 正文已声明("Preserve side-lane streaming so existing render-tag cleanup applies"),复用既有 googlePathKind 分类器。有意变更。
    • 表满驱逐:64 个已确认账号 hold 占满表时,新的 model hold/provisional 观察会被静默丢弃(fail-open,可用性>保护,与 [Bug/Enhancement] Codex 超过 100 MiB 的请求在 ACP 处理前断开:希望返回明确 413 并支持配置字节预算(#2606 后续) #3128 立场一致);已确认账号 hold 永不被 model hold 挤出。边缘场景,无外部可见行为变化(除极端负载下保护可能缺位)。
    • 阈值/时序/公式零变化:退避公式、jitter 区间、Retry-After 上限 600s、probe TTL 30s、表容量 64 全部保持;wire 保真不受影响(tool-call arguments 仍字节透传)。
  6. 是否破坏缓存:不涉及(前缀缓存路径未触碰,改动纯出站治理状态机)。

  7. 是否改了设计方向:无架构转向——仍是 Provider 429 (concurrency-style limit): turn re-driven every few seconds for minutes, keeps the account pinned at the limit #4204 governor(同 knobs、同生命周期、同有界表),只是键粒度细化 + probe 所有权改造。真正的策略分歧是「证据收窄 vs 统一加模型维度」,见下一条 🔶 决策评论。

  8. 是否引入了新的配置:没有。零新增 env/config/CLI 面;仅重写既有两个 knob 的描述文案,且 YAML 种子已同步(docs-sync gate 实测通过)。

测试有效性:真测试,断言有牙——正负行成对(marker 严格性矩阵含 keyring_all_limited/GoUsageLimitError/畸形/超大 body 负例;跨模型不清除;外来 token 不能释放;one-shot settle;容量/驱逐边界;reservation 全出口释放矩阵);三组 hermetic 服务端集成测试(relay 主车道/side-lane/链式 relay)驱动真实 proxy 端到端;一组真实计时并发测试钉住 250ms 回调预算与异步 settle 时序。上述每项行为变更都有测试钉住。小缺口:Google 非流 side-lane 不被误判为流的负例没显式写(依赖既有分类器自己的覆盖)。

CI 现状(head 1d59391eb,镜像缓存 21:56Z):static gates 全绿(unused-exports/docs-sync 已由 CI 工程师修复),test 分片运行中,暂无失败;red-signal/mysql-contract 两项显示 cancelled(同 sha,疑似重触发顶替,非代码失败,下次刷新再确认)。作者的真实 Codex E2E 仍待验证,PR 保持 draft。

判定:代码质量达标(②b 清单全过:命名达意、无死代码、常量具名、注释讲为什么、风格一致、错误信息带上下文),无需对齐重构。代码本身可合——待 CI 全绿 + 作者 E2E + 撤 draft;但必须先解决与 #5207 的收敛问题(谁合入决定另一个的命运),见下条 🔶 评论。

@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

🔶 需要决策

背景一句话:同一失败域(429 governor hold 键粒度)上有两个并行在途 PR——GitHub PR #5207(agent 所写,修 #5201,CI 已全绿、其线程内已审为可合)与本 PR #5696(外部贡献,draft,修 #5695)——两者设计互斥,合入顺序决定另一个的命运。

待决问题:哪个设计胜出?

我的推荐:A。理由:#5695/#5201 的用户场景里「账号级配额必须全凭据持有」是硬需求,选项 B 恰好在这点上回退;本 PR 的证据收窄在两个方向上都更保守(该窄的窄、不该窄的不窄),且把 provisional/异步 settle/probe token 所有权这些并发细节都钉了测试。若 owner 更看重「尽快止血」,B 是次优但可接受的过渡(接受共享池 ramp-up 代价)。

不决定的默认行为:两个 PR 都保持现状不动(本 PR 维持 draft,#5207 维持 open),master 继续跑旧行为,#5201/#5695 的用户在触发条件下继续吃本地 424。我不会替 owner 关任何一个。

@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

记录更正 + 严重度对齐(接本线程的 🔶 决策请求):

  1. 同家族另一条 triage 的引用有误,需更正:Model-specific upstream 429 can throttle unrelated models sharing a credential #5695(GitHub)的 triage 评论(镜像 kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698 floor 2)写「查重:重复 429 governor hold is keyed by origin+credential with no model dimension — one model's quota exhaustion freezes the whole lane (healthy models get local 429/424) #5199」并称「方向已在 429 governor hold is keyed by origin+credential with no model dimension — one model's quota exhaustion freezes the whole lane (healthy models get local 429/424) #5199 线程拍板(采纳建议 1『model 进键』)」。我逐条核过:镜像 429 governor hold is keyed by origin+credential with no model dimension — one model's quota exhaustion freezes the whole lane (healthy models get local 429/424) #5199 是一个已关闭的、与 429 governor 无关的 ref-restamp 缺陷(重启后压缩静默折叠错消息,qiangu2020 报,owner 已拍板方案 D 座位保留并由 PR [PR] fix(kernel): post-restart compression no longer silently folds wrong messages — slots freed during ID reconciliation are | fix(kernel): 重启后压缩不再静默折叠错消息——编号对账时腾出的座位保留给原主(#5196) #5360 合入 master),该线程里不存在任何关于 hold 键粒度的决策。本机制家族真正的首到条目是 Web panel shows Failed to fetch on DSH Desktop: proxy rejects the dsh-desktop: origin (403) #5201(pkuqiuning,v0.1.209 LiteLLM 单凭据多配额池场景),对应修复 PR [PR] fix(wiring): 429 governor hold key gains the model dimension #5207。已在 kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698 留更正评论。
  2. 因此:两个设计之间目前没有 owner 拍板,我上面的 🔶 决策请求(A 采用本 PR 证据收窄 / B 采用 [PR] fix(wiring): 429 governor hold key gains the model dimension #5207 统一重键 / C 混合)仍然有效、等待你裁决。
  3. 严重度对齐 p1→p2:我首条回复把本线程标了 p1(受影响模型在触发条件下完全不可用);但同家族的 Web panel shows Failed to fetch on DSH Desktop: proxy rejects the dsh-desktop: origin (403) #5201/Model-specific upstream 429 can throttle unrelated models sharing a credential #5695 triage 均判 p2 且给出了理由(有 network.throttle429Enabled:false 热绕行;按 2026-10-19 规则,p1 限于会话不可恢复/数据丢失类与缓存泄露类,本缺陷两者都不是——本地拒绝可恢复、无数据丢失)。为家族口径一致,已把本线程改标 p2(旧 p1 → 新 p2)。若你认为「整条凭据车道周期性冻结」应升回 p1,改标即可。

@ranxianglei ranxianglei left a comment

Copy link
Copy Markdown
Owner

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

(ai: vllm-qwen/qwen3.8-27b)

APPROVE — 独立完整复审(全 diff + 基线代码 + 两个 CI 修复提交),本地定向实测通过。

八问:

  1. 是什么问题:多模型共享同一网关凭据时,某个模型被限流(网关返回模型专属 429)会把同凭据的无关模型一起拖死——先被本地 429 拦截,连续命中后升级为终局 424(在所有 SDK 重试集合之外),回合直接丢弃,直到幸运探测或进程重启才可能恢复。而账号级配额错误必须继续全凭据持有(#5695 明文要求)。

  2. 什么原因导致的:src/upstream-throttle.ts(#4204 governor)hold 表键粒度只有 origin+credential,把一切 429 一律当「这个凭据额度耗尽」;模型专属 429(keyring_model_temporarily_unavailable)只说明单个模型不可用——对它是错误泛化。修在决策点(键粒度 + 证据判定 + probe 所有权),不是症状层拦截。

  3. 影响范围与严重程度:触发条件 = 网关返回结构化模型专属 429 且多模型共享同一 origin+credential。触发时受影响模型完全不可用(终局 424 丢回合);绕行 = 热关 network.throttle429Enabled(但连 #4204 的反放大保护一起丢)→ p2(与同家族 #5201/#5695 口径一致)。不触发的部署(每凭据单模型、网关不回结构化标记)行为零变化。

  4. 怎么修复的(机制层):证据收窄而非统一重键——仅当 429 body ≤16KB 可完整解析、携带 KeyRing 精确模型限额标记、且响应模型与请求模型逐字相同时,hold 才收窄到 origin+credential+model;链式 bili 本地 hold 以 code=bili_throttle_hold + scope=model 识别并保留模型作用域;其余一切(账号配额标记、畸形/超大/无法识别 body)保持旧的全凭据 hold(fail-safe)。continuation-refetch 路径引入「provisional 观察 + 异步 settle」:先按账号级保守持有,429 后后台读 ≤16KB body,在 250ms 回调预算内分类收窄,客户端可见结果永不被拖延;分类槽位 64/账号 × 64 账号封顶防状态无界增长。probe 所有权从 slot 先到先得改为 Symbol token:完成只释放自己拥有的 slot,别家请求的成功不会放掉在途探测,传输失败/取消只释放自己的 token、不清 hold。

  5. 是否有回归问题(既有行为逐项清点):

    • 账号级 429 的 arm/指数退避/jitter/Retry-After 600s 上限/probe TTL 30s/表容量 64/终局 424 逻辑:零变化(同一 createHoldState/makeReject)。
    • 「任意非 429 清 hold」→ 收紧为「清同作用域 hold」:任意成功仍清账号级 hold(旧语义保持);模型级 hold 只被同模型成功清除(有意变更,最坏延迟有界——30s probe TTL 自过期 + 退避窗口到期兜底,不会永久锁死)。
    • 门禁位置不变(non-GET/HEAD、fetch 前);loop 车道保持 observe-only;degenerate-retry 阶梯有界语义保持;ws-1009 shed/错误日志/dump 路径未动,仅在 rethrow 路径补 probe token 释放(gate 后全部提前返回已枚举:唯一无 token 的提前退出是本地 reject 本身)。
    • side-lane 流判定扩展到 Google streamGenerateContent / Vertex :streamRawPredict 路径编码 SSE(顺带小修,PR 正文已声明:此前这类路径编码流被当非流处理,render-tag 清理缺失)。
    • 表满驱逐:64 个已确认账号 hold 占满表时,新 model hold/provisional 观察静默丢弃(fail-open,可用性>保护,与 #3128 立场一致);已确认账号 hold 永不被 model hold 挤出。
    • 阈值/时序/公式零漂移,fail-fast 未变吞错,wire 保真不受影响。
  6. 是否破坏缓存:不涉及(前缀缓存/快照账本/增量游标/pf-* 握手均未触碰;改动纯出站治理状态机)。

  7. 是否改了设计方向:无架构转向——仍是 #4204 governor(同 knobs、同生命周期、同有界表),只是键粒度细化 + probe 所有权改造。⚠️ 注意:同失败域另有并行在途 PR #5207(对所有可识别模型统一加模型维度),两者设计互斥;收敛哪个等 owner 裁决(本线程已有 🔶 需要决策评论,推荐选项 A = 采用本 PR 的证据收窄)。若 owner 选 B,本 PR 应关闭而非合并。

  8. 是否引入新配置:没有。零新增 env/config/CLI 面;仅重写既有两个 knob(throttle429Enabled/throttle429MaxConsecutive)的描述文案,YAML 种子已同步,docs-sync gate 实测通过。

测试有效性:真测试、断言有牙——分类 truth-table 正负成对(含 keyring_all_limited/GoUsageLimitError/畸形/超大 body 负例)、跨模型不清除、外来 token 不能释放、one-shot settle、容量/驱逐边界、reservation 全出口释放矩阵;三组 hermetic 服务端集成测试(relay 主车道/side-lane/链式 relay)驱动真实 proxy 端到端;真实计时并发测试钉住 250ms 回调预算。每项行为变更都有测试钉住。小缺口(不阻塞):Google 非流 side-lane 不被误判为流的负例依赖 googlePathKind 自身覆盖,未在本 PR 显式加行。

验证实测(head 1d59391):五个改动测试文件本地 60/60 通过;tsc --noEmit clean;guard lanes 全绿;主 test 矩阵因 draft 状态 skip(draft 撤下后跑全量);作者自述真实 Codex E2E 仍未验证(其保持 draft 的原因之一)。

判定:代码质量达标(命名达意、无死代码、常量具名、注释讲为什么、风格一致、错误信息带上下文),无需对齐重构,无 REQUEST_CHANGES 项。Approve = 代码过审;合入与否取决于 owner 的 A/B/C 收敛裁决 + 撤 draft + 作者 E2E。

@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

复审完成,正式 GitHub APPROVE 已提交 → #5696 (review)

本轮是同一 head 1d59391eb 的重新派发(上一轮在楼内留了完整结论,但正式 GitHub review 动作没有执行,lane 因此一直停在「blocked awaiting review」)。本轮我没有照抄楼上结论,独立重做了全 diff 通读(15 文件含两个 CI 修复提交)与本地实测:

  • 定向测试(head 1d59391):五个改动测试文件(issue4204-throttle-governor / issue4743-degenerate-refetch-429 / issue4725-loop-429-observe / proxy-noinject-tag-strip / upstream-error-log)本地 60/60 通过;
  • typecheck:tsc --noEmit clean;
  • CI:guard lanes 全绿(unused-exports/docs-sync 已由 CI 工程师修好);主 test 矩阵因 draft skip,撤 draft 后跑全量。

八问摘要(完整版本在上面的 GitHub review):

  1. 是什么问题:多模型共享网关凭据时,单模型专属 429 把无关模型拖进本地 429→终局 424,回合丢弃无自动恢复;账号级配额错误则必须继续全凭据持有。
  2. 什么原因导致的:Provider 429 (concurrency-style limit): turn re-driven every few seconds for minutes, keeps the account pinned at the limit #4204 governor 的 hold 键只有 origin+credential 粒度,对模型专属 429 是错误泛化;修在决策点(键粒度+证据判定+probe 所有权),非症状层拦截。
  3. 影响范围与严重程度:触发条件 = 结构化模型专属 429 + 共享凭据;触发时受影响模型完全不可用,绕行需热关整个 governor → p2(同家族口径)。不触发部署零变化。
  4. 怎么修复的:证据收窄(≤16KB body + KeyRing 精确标记 + 请求/响应模型逐字相同才收窄到模型级,其余一律 fail-safe 回全凭据)+ continuation-refetch 的 provisional 观察/异步 settle(250ms 回调预算内分类,客户端结果不被拖延)+ probe Symbol token 所有权(只释放自己的 slot)。
  5. 是否有回归问题:账号级退避/jitter/Retry-After/TTL/表容量/终局 424 全零变化;「任意成功清账号级 hold」旧语义保持,新增「模型级 hold 只被同模型成功清除」(有意变更,30s TTL 兜底有界);side-lane 流判定扩展(PR 正文已声明的顺带小修);阈值/时序/公式零漂移。逐项清点见 review 正文。
  6. 是否破坏缓存:不涉及。
  7. 是否改了设计方向:无架构转向,仍是 Provider 429 (concurrency-style limit): turn re-driven every few seconds for minutes, keeps the account pinned at the limit #4204 governor 的键粒度细化。⚠️ 与 [PR] fix(wiring): 429 governor hold key gains the model dimension #5207 的设计互斥收敛裁决(A/B/C)仍待 owner——若选 B,本 PR 应关闭而非合并。
  8. 是否引入新配置:没有,仅既有两 knob 描述文案重写(YAML 种子已同步)。

标签:不变(bug / scope/wiring / p2,见 floor 13)。
顺手修:本轮无机械性小发现可修(Google 非流 side-lane 负例缺口依赖 googlePathKind 自身覆盖,已在 review 中注明,不动 PR 分支)。

状态一行(report):review-worker-r1 完成 #5696 复审——APPROVE 已提交、无阻塞发现、无需 🔶 新决策;剩余卡点全部在 owner/作者侧:A/B/C 收敛裁决(floor 12)、撤 draft、作者真实 Codex E2E。#5207 仍 open 未合(mergeable_state=behind),维持现状等拍板。

@ranxianglei
ranxianglei marked this pull request as ready for review November 5, 2026 02:36
@ranxianglei
ranxianglei merged commit 0aace2f into ranxianglei:master Nov 5, 2026
176 of 217 checks passed
@github-actions

github-actions Bot commented Nov 5, 2026

Copy link
Copy Markdown
Contributor

📦 Merged Build Published

This merge to master was published as 0.0.1037-master.0aace2f (rolling master tag).

npm install -g billion-context@0.0.1037-master.0aace2f  # this exact build
npm install -g billion-context@master  # always the newest merged build

npm view billion-context@master prints the current version at any time.

Louie0806 added a commit to Louie0806/billion-context that referenced this pull request Nov 5, 2026
…mpress gate, ranxianglei#5686 dsh drift consolidation, ranxianglei#5696 model-scoped keyring 429

Ride-along upstream work that landed after c9ba485:
- ranxianglei#5683 forbid unprompted / out-of-bounds compression
- ranxianglei#5686 dsh drift consolidation (last native-compaction leak window)
- ranxianglei#5696 model-scoped KeyRing rate-limit holds
- ranxianglei#5661 incremental-lane credential headers, ranxianglei#5656 single-shot sidecar
- ranxianglei#5644 watcher registration recovery, ranxianglei#5635 restart survival

Overlap with this lane is limited to regenerated artifacts (CONFIGURATION*.md)
and to the shared relay/core seams, both auto-merged. No source conflict.

Verified after rebuilding kernel: issue5175 58/0, tag-echo 79/0,
issue2190-degen-close 32/0, golden-storage-render 5/0,
storage-engine-proofs 12/0, native-compact-terminal 1/0,
plugin-passthrough-tag-strip-chat 20/0, plus the newly arrived
ranxianglei#5683/ranxianglei#5686/ranxianglei#5656/ranxianglei#5658/ranxianglei#5631/ranxianglei#5641 suites all green.
tsc clean, four gates clean, config docs a fixed point.
Louie0806 pushed a commit to Louie0806/billion-context that referenced this pull request Nov 7, 2026
…for marker-less gateway 429s

Implements ranxianglei#5853 decision 1 option A (recommended); decision 2 unchanged
(streak-1 arming kept). Default "credential" preserves ranxianglei#5696 semantics —
zero behavior change without opt-in.

- knobs: BILI_THROTTLE_429_SCOPE > network.throttle429Scope > "credential",
  read per settlement (hot flip)
- upstream-throttle: throttle429ModelScope() — recognized KeyRing/bili-relay
  markers win as before; scope=model settles marker-less 429s (RPM/quota
  text, opaque relay rewrites) on the request model; model-less sends stay
  credential-wide
- relay/loop/degenerate-retry lanes settle through the wrapper
- docs: CONFIGURATION en/zh + website seed regenerated, LIFECYCLE env row
- tests: tests/issue5199-throttle429-scope.test.ts (6 rows, both directions)
@github-actions github-actions Bot mentioned this pull request Nov 7, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Model-specific upstream 429 can throttle unrelated models sharing a credential

2 participants