Skip to content

preflight fail-fast × soft-protection livelock: over-window payload never recovers, permanent 502 loop #332

Closed

Description

@ranxianglei

Model: glm-5.3

现象

preflight fail-fast 与软保护(保护区 = 最近 5 条消息 + 最近一条用户消息)相互作用形成永久 502 循环:请求永远到不了模型,EMERGENCY nudge 恢复路径被切断,客户端无限重试。

证据(真机 e2e 捕获(本地 sglang qwen3.8-27b @8199),codex 0.147 → bili → 本地 sglang(qwen3.8-27b))

e2e-codex-JLWWeb 会话(窗口 11000):

02:24:16.644 [info] [acp-proxy: [Compressed m00001–m00003 → 1 block(s), ~4846 tokens saved.
       Excluded 2 protected message(s) m00004, m00005 from compression range (recent/last-user zone).]]
02:24:16.646 [error] preflight fail-fast 502 (retryable=false): context ~15339 tokens exceeds the
       model window 11000 (model=qwen3.8-27b) and preflight compression could not bring it under:
       no compressible ranges remain in the conversation. The over-window payload was NOT forwarded.
02:24:16.853 [error] preflight fail-fast 502 ... ~14712 ... no part of the conversation is
       compressible (nothing left to fold) ...
02:24:17.231 [error] (同上)
02:24:18.038 [error] (同上)
02:24:19.775 [error] (同上)   ← codex 每次重试都撞同一堵墙

机制

  1. 载荷超窗 → preflight 尝试压缩
  2. 能折的全折了,但剩余消息全在软保护区内(短会话场景:m00004、m00005 是仅剩的消息)
  3. 剩余上下文(~14.7k)仍 > 窗口(11k)→ fail-fast 502,不转发
  4. 客户端重试 → 完全相同的局面 → 502 → 无限循环
  5. EMERGENCY 自救失效:恢复手段(nudge 让模型调 compress)需要请求到达模型,而 fail-fast 恰恰阻止了这一点

触发条件

  • 会话较短(剩余消息全部落入保护区),且单条/少量大消息撑爆窗口
  • 典型:大 filler 用户消息 + 小窗口配置(e2e 测试、model_context_window 配置偏小、或 E1 钳制后窗口变小)

修复方向(供讨论)

  • A. fail-fast 前放行:仍超窗但已无可折范围时,带 warning 转发原样载荷,让上游/客户端自行处理(至少不破坏重试语义,客户端还能收敛)
  • B. 紧急模式下放宽软保护:EMERGENCY/preflight 路径允许折叠保护区(带明显哨兵标记,事后可 decompress)
  • C. 硬截断:超窗且无可折范围时截掉最旧消息(有损,但保证活性)

个人倾向 A(最小语义破坏)或 B(保 ACP 压缩哲学)。C 只作兜底。

关联

Activity

  1. ranxianglei commented on Aug 29, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 已修复,PR: #334

    采纳方案 A(你倾向的最小语义破坏),实现细节:

    根因确认:preflightCompressIfNeeded(src/server.ts)在两处对 "exhausted"(无可折范围)状态 fail-fast 502。这个状态是静态的——客户端重试永远撞同一堵墙(软保护区不随重试变化),而 EMERGENCY nudge 的恢复路径恰恰需要请求到达模型,fail-fast 把它切断了 → 永久 502 循环。

    改动(src/server.ts:1807, 1853-1872 两处):

    1. preflight 启动前就发现无可折范围 → 带 warning 原样转发(不再 502)
    2. preflight 跑完返回 failure.kind === "exhausted" → 带 warning 转发;若 preflight 已部分压缩,转发重建后的载荷(保留部分压缩成果)

    保留 fail-fast 的场景(瞬态状态,重试可自愈,不属于 livelock):

    • summary 上游 429 → 503 + Retry-After: 30
    • summary 上游其他错误 → 502
    • 客户端断开 → 不响应

    为什么转发是安全的:bili 的窗口限制常是 fallback/learned/relay 估计值,不是 ground truth。转发后让事实裁决:

    • 上游接受(真实窗口 ≥ 载荷)→ 会话存活,注入的 EMERGENCY nudge 让模型调 compress 自愈——正是 fail-fast 切断的恢复路径
    • 上游拒绝(真实窗口 < 载荷)→ 客户端看到上游真实的 400(现有错误路径原样透传),可收敛(展示错误/新会话);且现有 overflow self-heal 从 400 学到真实窗口并 arm emergency shrink——这套机制在 fail-fast 下对此状态不可达

    测试(tests/preflight-fail-fast.test.ts):

    • 原 "nothing compressible → 502, no forward" 测试改写为断言载荷被转发(200,未消耗 summary 调用)
    • 新增 e2e:上游真实窗口更小 → 断言上游 400 原样透传给客户端 + self-heal 学到真实窗口(learnedContextLimits = 8000)
    • 两个 fix: honor anthropic-beta context-1m to size the context window #301 瞬态测试(429→503、fitting payload 仍转发)不变且通过

    Pre-flight:typecheck 干净 · 746/746 测试通过 · build 干净

    C 方案(硬截断)未采用:A 已保证活性且零信息丢失,C 的有损截断只在上游也拒绝时才有意义,而那时客户端已经拿到真实 400 可以自行处理。

  2. added 2 commits that reference this issue on Sep 3, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions