Skip to content

Fallback window floor lifts sub-100K windows ABOVE their declared value (negative headroom) — compression cadence silently stops until self-heal | 回退窗口下限把 <100K 的声明窗口抬到 100K(负预留),压缩节奏静默停摆直到自愈 #4239

Closed

Description

@ranxianglei

来源: PR #4236 (#4236) 分析其 CI 红时发现

查重: 与 #4194(#3900 reserve-all 之后 master 测试车道红)相关但不同——#4194 记录的是过期测试期望的症状(测试侧,已通过套件对齐处理);本 issue 记录的是所有测试对齐之后仍然存在的产品侧顺序缺陷:#282 回退下限在输出预留之后生效,把任何 <~101K 的回退基线向上抬到 100K,高于声明值。症状不同(生产节奏静默停摆 vs CI 红),机制不同(下限/预留顺序 vs 期望漂移)。

现象(pristine master fe5ba59 复现)

[window] model=test-model ... base=8192 fallback=true route=miss
[sess=...] fallback context window floored: 7168 → 100000 (model=... not authoritatively identified; ...)
[sess=...] [headroom] model=...: effective window 8192 -> 100000 (reserved -91808 for max output 1024, cap 0.25 via compress.outputHeadroomMaxPct)

声明/默认窗口 ≲101K 且模型未被权威识别 ⇒ 判定窗口 R 高于声明值 N("负预留")。

机制

src/server/handle.ts:2176 的 if (nativeFromFallback && reserved < FALLBACK_EFFECTIVE_WINDOW_FLOOR) 在 reserved = reserveOutputHeadroom(...)(:2170)之后执行。#282 的本意是保护「大表窗口 − 大 max_tokens」不被压穿(128k−64k→64k → 托底到 100k;tests/fallback-window-floor.test.ts 钉住该 case)。但同一条分支对本来就小的回退基线执行的是向上抬升。自 #3900 reserve-all 翻转(4d50f9c2,已在 master)起,所有 wire 先做预留,于是每个「小声明窗口 + 未识别模型」的会话都命中抬升。

加重因素:直连代理的客户端 embeddedUrl=undefined(src/server/handle.ts:654),routes 表里的 per-model 窗口对它们是死代码——比预期更多的会话落入回退路径。

影响

建议修法(owner 决策项——§7.4:fallback/默认值变更不由 agent 擅自上线)

方案 A:把抬升限制在 #282 真正保护的方向(基线本身 ≥ 下限时才允许托底):

if (nativeFromFallback && reqConfig.modelContextLimit >= FALLBACK_EFFECTIVE_WINDOW_FLOOR && reserved < FALLBACK_EFFECTIVE_WINDOW_FLOOR)

#282 钉住的 case(基线 128k ≥ 100k)不受影响;小基线保持「声明多少判多少(扣预留)」。

方案 B:调换顺序(先托底再预留)——R 恒 ≤ N,但预留可能把窗口重新压回下限以下。

请 owner 拍板方向(或另有想法)。

严重度

p2:有绕行(自愈会纠正;显式 compress.modelContextLimit 调参或 /bili/ 路由可绕过回退路径),但受影响组合(小声明窗口 + 未识别模型)很常见,且失效模式是静默的节奏丢失。

Activity

  1. ranxianglei commented on Oct 23, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复。 相关项都查过: #4194(#3900 之后 CI 红,已由 revert #4198 + v0.1.204 解决——其线程里其实已点名过这个「下限×预留」交互,注明应作为后续单独处理,但当时未立项);PR #4236(在途、CI 绿——它的 fixture 对齐提交只改测试走 /bili/ 路由,不碰产品侧下限逻辑);#285/#282(下限的引入源头)。检索 open+closed 的 issue/PR(FALLBACK_EFFECTIVE_WINDOW_FLOOR / floor / 负预留),没有其他条目覆盖本缺陷,也没有在途修复 PR。

    标签: bug + scope/wiring + p2(请求管道侧回退窗口下限顺序缺陷,波及 nudge/growth-fold 节奏;有绕行但受影响组合常见且失效模式是静默的,维持 issue 自判 p2)。

    验证结论(全部本地实测,不是只读代码)

    三个版本点各验一遍:

    1. fe5ba59(立项时 master,含 [BUG] acp-proxy upstream HTTP 400: Request with 1,198,269 tokens exceeds the model's 1,048,576 token limit, consistently | [BUG] acp-proxy upstream HTTP 400:请求 1,198,269 tokens 超过模型上限 1,048,576,一直复现——是插件压缩未生效,还是 DSH 的问题? #3900 reserve-all):tests/external-summary-autofold.test.ts 5 过 3 挂,正是 issue 记录的三个红例(auto-fold off / degenerate sub-MIN / clamped target);机制复现与日志一致——先预留(8192−1024=7168),再被抬到 100000。
    2. c87185a(当前 master = v0.1.204,含 revert [PR] Revert "#3900: reserve output headroom on every wire (drop the Anthropic exemption)" (#4184) — unblock v0.1.204 #4198):上述 autofold 套件转 8/8 绿(anthropic wire 因豁免跳过整个预留+下区块,红例在该 wire 上休眠);但缺陷在非 anthropic wire 上仍然活着——写了个探针(OpenAI wire 直连 /v1/chat/completions、未知模型、空 registry、根窗口 50K):日志 fallback context window floored: 48976 → 100000,面板 contextLimit=100000(声明 50000),42K 载荷判成 42%(按诚实值 48976 应约 86%)→ nudge idle,turn 2 没有追加 nudge(转发 30 条 vs 应有 31 条)——静默节奏丢失在当前 master 复现成功。
    3. 方案 A 本地试装(单行改动,验证后已还原、未提交):在 fe5ba59 上 tests/fallback-window-floor.test.ts 2/2 绿(bili出现连续压缩情况 #282 钉住的 128K case 不受影响),tests/external-summary-autofold.test.ts 8/8 绿——就这一行把三个红例修好,不需要动任何 fixture。

    比 issue 正文多出的独立判断:

    • 抬升不依赖预留是否真的发生:reserveOutputHeadroom 在 maxOutput≤0 或 ≥window 时是 no-op,但下界分支只看 reserved < FLOOR——任何 <100K 的回退基线无条件被抬。anthropic 现在安全纯粹是因为 revert [PR] Revert "#3900: reserve output headroom on every wire (drop the Anthropic exemption)" (#4184) — unblock v0.1.204 #4198 让它跳过了整块;将来若有任何改动把 anthropic 放回块内,小基线又会重新被抬。
    • 生产暴露面:内置 CONTEXT_LIMIT_TABLE 全部条目 ≥128K,所以 <100K 基线主要来自根级 modelContextLimit(运营给小模型部署配小窗口、又没配 compress.modelContextLimit——只有后者能清掉 fallback 标志)。默认 cap 0.25 下:声明 <100K 无条件抬升;100K–133K 在输出预算足够大时(N×0.75<100K)抬升;≥133K 到不了下限。issue 提到的「直连代理 embeddedUrl=undefined 使 routes 表 per-model 窗口成死代码」也核实了(src/server/handle.ts:654)。
    • 方案 B 有个数学问题:「先托底再预留」对 <100K 基线给出 R = 100K − 预留(如 8192 → 100000−1024 = 98976),仍高于声明值——负预留没消除,只是变小;而对大基线它重新打开 bili出现连续压缩情况 #282 的原病理(128K 托底 no-op → 减 64K → 64K,正是 tests/fallback-window-floor.test.ts 钉住的 case)。B 既没修好小基线,又回退了大基线的保护。
    • 方案 A 建立全局不变量 R ≤ N 恒成立:基线 ≥100K → R=max(reserved,100K) ≤ N;基线 <100K → R=reserved ≤ N。下限从「抬升」退化为纯粹的「托底」。

    结构化八问(决策请求:A / B / 另有方向)

    1. 是什么问题:模型窗口来自低置信回退(内置表/根默认)且偏小时,bili出现连续压缩情况 #282 下限把有效判定窗口抬到 100K——高于用户声明值——nudge 与 growth-fold 全按虚高容量计算,压缩节奏静默停摆,直到自愈在上游溢出后纠正。
    2. 什么原因导致的:两个操作的顺序——bili出现连续压缩情况 #282 的下限(本意防大窗口被大 max_tokens 压穿)执行在输出预留之后,条件只检查「结果低于下限」而不检查「基线本身是否低于下限」,于是同一分支对大基线做托底、对小基线做抬升。[BUG] acp-proxy upstream HTTP 400: Request with 1,198,269 tokens exceeds the model's 1,048,576 token limit, consistently | [BUG] acp-proxy upstream HTTP 400:请求 1,198,269 tokens 超过模型上限 1,048,576,一直复现——是插件压缩未生效,还是 DSH 的问题? #3900 reserve-all(fe5ba59 期间)让所有 wire 走这条路径,全面暴露;revert [PR] Revert "#3900: reserve output headroom on every wire (drop the Anthropic exemption)" (#4184) — unblock v0.1.204 #4198 后 anthropic wire 跳过整块,该 wire 上休眠,非 anthropic wire 仍暴露(当前 master 实测存活)。
    3. 影响范围与严重程度(按选项):
      • 现状(不修):非 anthropic wire(OpenAI 系/google/未知协议)+ 回退来源 + 声明窗口 <100K(或 100K–133K 且预算大)的会话——压缩节奏静默丢失,面板/内核按虚高容量工作可能掩盖真实溢出风险;不可用程度:能用但有明显问题(自愈会在首次上游 400 后恢复,显式 compress.modelContextLimit 或 /bili/ 路由可绕行)→ p2。[PR] fix: reserve output headroom by route, not wire — caliber split (redo of reverted #4184) #4236 合并后 wrapper-anthropic 路由(如 DeepSeek /anthropic)也进入受影响集合。
      • 方案 A:只改变「回退基线 <100K」会话的行为(从虚高 100K 变为诚实的预留后值);其余会话逐字节不变。
      • 方案 B:改变所有回退会话的行为(大小基线都动),并重新引入 bili出现连续压缩情况 #282 的 128K−64K→64K 压穿场景。
    4. 怎么修复的(推荐方案 A):下界分支加一个条件——仅当基线本身 ≥ 下限时才允许托底(reqConfig.modelContextLimit >= FALLBACK_EFFECTIVE_WINDOW_FLOOR)。单行改动,无新配置、无内核变更;建立全局不变量 R≤N;按 Test Blind Spot Retrospective: Reinforcing Negative Assertion Discipline, Tightening Fake Upstream Strictness, Thin Inst | 测试盲区复盘:补反向断言纪律、假上游严格化、薄安装冒烟、形态矩阵与生命周期覆盖 #3617 补双向回归钉(小基线不得被抬 + 大基线托底不变)。本地已验证:装上 A 后 floor 套件 2/2、autofold 套件 8/8。
    5. 是否有回归风险(按选项):
    6. 是否破坏缓存:不涉及——窗口判定值不参与前缀缓存字节,头部 system 消息保持稳定。
    7. 是否改了设计方向:不改方向,只是把下限恢复原意(托底而非抬升);与 [PR] fix: reserve output headroom by route, not wire — caliber split (redo of reverted #4184) #4236 的口径拆分(显示 N / 判定 R)兼容——R≤N 比现在的 R>N 更符合该口径语义。
    8. 是否引入了新的配置:不涉及。

    方案对比

    A: 基线 ≥ 下限时才托底 B: 先托底再预留
    小基线(<100K) R=reserved ≤ N,节奏恢复 R=100K−预留,仍 > N(负预留在)
    大基线(#282 case) 与现状逐字节一致 回到 64K 压穿状态,#282 测试红
    全局不变量 R≤N 恒成立 仅 N≥100K 时成立
    改动量 +1 个条件 重排序 + 重钉 #282 期望
    与 #4236 兼容 同行叠加,顺序无关 也可组合,但带上面回归

    推荐: 方案 A。 请拍板方向;批准后我立即实现(单行 + 双向回归钉 + 定向本地验证 + PR Closes #4239),并建议与 #4236 同批或在其之前落地(#4236 合并会把暴露面扩到 wrapper-anthropic 路由,而本修复与其顺序无关)。

  2. ranxianglei commented on Oct 24, 2026

    @ranxianglei
    OwnerAuthor

    (ai: zhipuai-lb/glm-5.3)

    孤儿 issue 清理:修复已由已合并 PR #4236 落地(含今日五列合并列车),但本 issue 未随之关闭。现补关;若该修复仍有残留问题请 reopen 并描述复现。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions