Skip to content

Incremental lane: one transient failure (5xx/409) permanently demotes the conversation to full resend; built-in recovery hook is dead code | 增量通道:一次瞬时故障(5xx/409)就把会话永久打回全量重发,内置的恢复钩子是死代码 #3369

Closed

Description

@ranxianglei

ai: zhipuai-lb/glm-5.3

现象

开启增量压缩通道(pluginIncrementalTurns,默认 0% 未开)后,会话只要碰上一次上游 5xx、网络错误或 409,这个会话在整个宿主进程生命周期内都被永久打回全量重发——静默发生,没有任何恢复路径。功能恰好在瞬时抖动场景下失效,而那正是它最该发挥价值的场景。

机制链

  1. 服务端在转发之前就把本轮应用到本地规范历史(src/incremental-lane.ts:398-401:touchCache → recordResyncBaseSeq → persistLaneState,转发在 :463 才发生)。上游 5xx 时,服务端已包含客户端从未收到 200 的消息。
  2. 客户端保留旧 sinceSeq,下一个 delta 撞上严格契约(src/incremental-lane.ts:258 seq 不匹配 → 409)。
  3. 所有 adapter 对 409/503 一律 markIncrementalDead(如 src/agent/pi.ts:1335-1337)。
  4. markIncrementalDead(incremental-client.ts:192 置 dead: true)没有任何复活路径:唯一能把 dead 翻回 false 的是 noteIncrementalAck(:184),但一旦 dead,planIncrementalTurn 在 :137 直接短路 skip → 增量轮永远不再发送 → ack 永远不会到来 → dead 是永久的。
  5. 客户端自己的恢复钩子存在但是死代码:planIncrementalTurn(args, forceResync = false)(incremental-client.ts:135)支持 409 后重规划 resync,但没有任何 adapter 传第二个参数(pi.ts:1215、omp-native.ts:121、opencode-native.ts:854、dsh-native.ts:1368 全部裸调)。

正确性无损(全量重发不丢数据),代价是该会话永久失去增量收益。引入:PR #3248。

建议修法(需 owner 拍板)

  • 409 时:用 forceResync = true 重规划同一轮,而不是标 dead;
  • 5xx/其他状态:不动状态(只有服务端 409 才证明真漂移);
  • 可选:dead 加时效(N 分钟后自动复活)。

来自 #3331 区间审查(B-H1)。cc @ranxianglei

Activity

  1. changed the title [-]增量通道:一次瞬时故障(5xx/409)就把会话永久打回全量重发,内置的恢复钩子是死代码[/-] [+]Incremental lane: one transient failure (5xx/409) permanently demotes the conversation to full resend; built-in recovery hook is dead code | 增量通道:一次瞬时故障(5xx/409)就把会话永久打回全量重发,内置的恢复钩子是死代码[/+] on Oct 16, 2026
  2. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 按失败签名(incremental + dead/resync/409/fallback)检索 open+closed issue 与 PR:同家族但症状+机制均不同——#3329/#3340(pending-ack map 按 URL 键控 → 跨会话误归因 seq)、#3352(opencode native 两个版本结构性不生效)、#3370(dsh 标记竞态裸发增量体)、#3304(代理挂掉降级直连发增量体致上游 400)。本 issue 是「一次瞬时故障 → 永久打回全量重发」的唯一条目。相邻在途:#3355 第 6 项(ack 头 2xx-only)改同一文件的 writeHead 包装——下述修法不依赖失败响应上的 ack 头(该 PR 合并后头上就没有了)。

    验证结论:机制链 5 步全部属实(master 745be9f 逐项核对)

    1. ✅ src/incremental-lane.ts:398-401 转发前应用本轮(touchCache → recordResyncBaseSeq → persistLaneState,forward 在 :463)。上游 5xx 时服务端 seq 已前进,客户端从未收到 200 ack。
    2. ✅ 下一个 delta 必撞 :258 严格契约(sinceSeq !== serverSeq → 409 seq-mismatch)。完整序列推演:turn k 的 delta(sinceSeq=A)应用成功 → 5xx → 客户端状态停在 A → 下一轮前缀仍对齐(sent 未变)故规划为 delta → serverSeq=k≠A → 409。必然发生,不是概率事件。
    3. ✅ 四个 adapter 对 409/503 一律 markIncrementalDead(pi.ts:1336-1345、omp-native.ts:147-151、opencode-native.ts:897-903、dsh-native.ts:1391-1395);5xx/网络错误不动状态——已是现状,你的第二条建议天然成立。
    4. ✅ dead 无复活路径:唯一能翻回 false 的是 noteIncrementalAck(:184),但 dead 后 planIncrementalTurn 在 :137 短路 skip → 增量轮永不再发 → ack 永不到来。宿主进程生命周期内永久。
    5. ✅ forceResync 是死代码:四个调用点(pi.ts:1215、omp-native.ts:121、opencode-native.ts:854、dsh-native.ts:1368)全部裸调。

    另有两个影响修法设计的发现:

    • A. 今天就算传了 forceResync=true 也救不活 dead 会话:dead 检查(:137)在 forceResync 分支(:138)之前短路。所以「把第二个参数传上」不够,状态机本身要改。且四个 adapter 的事件模型都是「before_send 规划 → onResponse 结算」,409 之后没有统一的「重规划同一轮」seam(host 可能内部重试、也可能直接把错误抛给用户)。可落地的形态是 resync 闩锁:409 时置 resyncPending,下一次 plan() 消费闩锁发出 resync 轮(全量历史 + resync:true,服务端整体替换,resync 绕开 seq 检查、结构上不会 409)。host 内部重试时闩锁自然落在重试上;host 不重试就落在用户下一轮上——两种情况都在一轮全量内恢复完成。
    • B. 409 有两种:seq-mismatch(漂移,resync 可修)与 turn-in-flight(并发锁,resync 无效但无害——白烧一次,锁释放即成)。建议统一处理不解析 body:任何 409 → 闩锁 + strike++,保持简单。

    层次定位

    用户看到的是「丢增量收益」;根因是客户端状态机把「任何 lane 拒绝」都当终态(二元 dead),而协议本身为这种漂移定义了恢复操作(incremental-lane.ts:23-24 写明 409 后 client MUST recover with a full resync;服务端已实现)。5xx 本身不损坏任何东西——它只是制造漂移,缺失的恢复路径把漂移变成永久死亡。修法是补完协议已定义的恢复路径,不是发明新机制。

    决策请求(八问)

    1. 是什么问题:开启增量通道(默认 0%,opt-in)的会话,一次上游 5xx/网络错误/409 就在宿主进程整个生命周期内被静默打回全量重发,无恢复路径——功能恰好在最该发挥价值的瞬时抖动场景下自废。
    2. 什么原因导致的:服务端按设计在转发前就把本轮应用到规范历史(Delta lane: native-mode clients send only deltas, server maintains full state + one-time fold, upstream receives snapsho | 增量车道:native 模式客户端只发增量,服务端全量维护+一次折叠,上游只收快照(#2926 的泛化) #3248 apply-before-forward),5xx 使服务端 seq 领先客户端 ack;下一轮 delta 必然 409(严格 seq 契约);客户端对任何 409/503 一律标 dead,而 dead 无复活路径(ack 是唯一解除途径,但 dead 短路 plan → ack 永不到来)。协议为此定义了 resync 恢复操作,服务端已实现,客户端建了钩子(forceResync)却无人调用,且 dead 检查会先把它挡掉。
    3. 影响范围与严重程度(按选项):
      • 现状:所有开启 pluginIncrementalTurns 的会话(当前 0% rollout,仅 opt-in 用户)首次瞬时故障即中招;严重度=该会话静默永久失去增量收益(正确性无损、不丢数据,但宿主生命周期剩余时间内 token/成本回退);触发条件=任意一次 5xx/网络错误/409(含 turn-in-flight 竞态、冷重建 mismatch)。
      • 选项 A:只动增量会话的故障恢复路径;健康路径线字节不变(delta/seed/skip 规划逻辑零改动);严重度降为「恢复时多走一轮全量」。
      • 选项 C:额外给长驻宿主进程引入 N 分钟定时语义,影响 dead 判定时机。
    4. 怎么修复的(推荐 A):客户端状态机从「任何拒绝 → 永久 dead」改为「漂移 → resync 恢复,连续失败 → dead」:① 409 → 置 resyncPending + strikes++,下次 plan() 消费闩锁发 resync 轮(全量历史 resync:true,服务端整体替换,不会 409);② 5xx/网络错误 → 不动状态,由下一轮 409 驱动 ①(多一个往返,零契约变更);③ 503 → 只清 probe 缓存(下轮重新探测),不再标 dead(lane 真不可用时 probe 恒返回 enabled:false,增量自然不启用,零伤害);④ dead 保留为最后防线:连续 3 次失败期间无任何成功 ack → dead,200 ack 把 strikes 清零。
    5. 是否有回归问题(按选项):
      • 选项 A:审过的既有行为——delta/seed/skip 规划:保持(plan() 头部新增一个闩锁分支,仅在闩锁置位时走到);200 ack 记账:保持(附加 strikes 清零);409 处置:「永久 dead」→「resync 恢复」= 有意变更(已披露);503 处置:「dead+清 probe」→「仅清 probe」= 有意变更(已披露);kill-switch 触发:「一次」→「连续三次」= 有意变更(已披露)。高危模式逐项过:无语义漂移(健康路径字节一致)、无 fail-fast 变吞错(失败仍回落全量重发,正确性下限不变)、无阈值/时序/输出格式静默变化(strikes 是内部状态,无外部面)。唯一风险点:resync 轮以客户端全量视图替换服务端 canonical——这正是协议定义的恢复语义(client is the source of truth,incremental-lane.ts:34-41),不是新风险。
      • 选项 C:定时器引入新时序维度(N 分钟窗口、复活时刻与在途轮的边界、长驻进程生命周期管理);收益边际(A 让 dead 很难到达)。
    6. 是否破坏缓存:不涉及——未触碰压缩缓存/fold ledger/增量游标失效策略;resync 轮走既有 recordResyncBaseSeq epoch 机制(unified 表 append-only + base-seq 切片),缓存键不变。
    7. 是否改了设计方向:无架构转向——补完协议已定义的恢复路径(409 → resync),客户端状态机从「二元 dead」细化为「drift/strike/dead 三态」,未发明新机制。
    8. 是否引入了新的配置:不涉及——不加 config/env/CLI 面;strike 阈值 3 为内部常量(若要可配,按 config-surface 纪律另行报批)。

    选项对比

    选项 机制 恢复延迟 复杂度 结论
    A. resync 闩锁 + 3 次 strike dead(推荐) 409→置闩锁→下次 plan 发 resync;5xx 不动;503 仅清 probe;连续 3 败→dead;ack 清零 多一轮全量历史 低(状态机 ~30 行 + 四 adapter 各 ~4 行 + 回归测试) ✅ 推荐
    B. 重规划时传 forceResync(issue 原文) adapter 同步拦截 host 重试换 body 同 A 高(四 adapter 事件模型无统一「重规划同一轮」seam;且被 dead 检查先挡,见发现 A) ❌ A 即其可落地形态
    C. dead 加 TTL 复活(可在 A 上叠加) 定时器 N 分钟后翻回 dead N 分钟 中(定时器生命周期管理) ⚪ 可选,不建议(A 已使 dead 极难触发)

    拍板后我立即开 PR 闭环(一个 PR:状态机 + 四个 adapter + 回归测试覆盖 5xx→409→resync→delta 恢复全链 / 连续 3 败→dead / ack 清零 / 503 仅清 probe)。

  3. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    ai: zhipuai-lb/glm-5.3

    修复 PR:#3377(一次 409 → 下一轮全量 resync:true 重播种自愈;连续 3 次无 ack 才熔断永久回退;503 只清探测缓存不动会话状态)。与 ework 评审结论对齐过:瞬时故障自愈是这个功能的设计意图,原实现把意图写成了永久降级。

  4. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    #3377 已核对完毕,与拍板的设计(方案 A)逐条对齐,我独立复核了代码并补了一个评审发现的小缺陷。结论:新 head CI 绿即可合(合并动作按规矩留给人)。

    对齐核验(逐条对过 PR head 代码,不是只看描述)

    • 409 → noteIncrementalRejection():删 wire 状态,下一轮自动全量 resync:true 重播种(resync 绕过 seq 检查,不可能再 409)→ 下一轮自愈 ✅
    • 连续 3 次无 ack 的 409 → 熔断(REJECTION_CIRCUIT = 3,独立于 wire 状态的计数器)→ 保持旧的永久回退,防真·持续漂移 ✅
    • 503 → 只清探测缓存,会话 ack 状态不动,下一轮重新探测 ✅
    • 任何 200 ack → 清零熔断计数 ✅
    • pi/omp/opencode/dsh 四个 adapter 同步改;dsh 顺带修了「200 无 ack 头误消费 pending 槽位」✅(但见下)
    • markIncrementalDead 导出保留,既有状态机测试不受影响;resync 契约、turn-in-flight 409 语义均未动 ✅

    评审发现并已修进 PR 分支的一个缺陷(同机制家族,一揽子收敛):dsh 那条「不消费 pending」的修复注释写了、代码没做——delete 仍在状态判断之前无条件执行,并发全量请求的无头 200 照样偷走真 ack。并行评审会话先修了 dsh(fc60e8c55);我发现同一模式在 omp/opencode/pi 三个 handler 里同样存在,已把统一规则铺到全部四个通道并加了回归测试(08bb9c5d0,红绿验证过:不带修复测试必挂)。残留槽位的存活有界:omp/opencode 走 30s TTL,pi/dsh 被下一次 plan 覆盖。

    证据:tsc 干净;定向套件 20/20(incremental-client-recovery / opencode-incremental / omp-native-incremental / incremental-lane);前一 head(23ed72d)CI 全矩阵绿;新 head 08bb9c5 CI 进行中(9 成功 0 失败)。

    行为变更披露(旧 → 新)

    场景 旧 新
    一次 409 永久 dead(进程生命周期内全量重发) 下一轮全量 resync 重播种,自愈
    连续 3 次 409(中间无 ack) 第一次就 dead 熔断后才永久回退(与旧行为一致)
    503 永久 dead 会话状态保留,只清探测缓存
    200 无 ack 头(并发请求先到) 偷走 pending 槽位 → 丢真 ack 保留槽位,真 ack 正常记账

    八问

    1. 是什么问题:增量通道开启后,会话碰上任意一次瞬时上游故障(5xx/409/503)就被永久打回全量重发,没有任何恢复路径。
    2. 什么原因导致的:服务端转发前就把本轮应用到本地规范历史,转发失败后客户端 sinceSeq 永久落后;客户端对 409/503 一律标 dead,而唯一复活路径(ack)因 plan 在 dead 时短路 skip 永远到不了——内置的 forceResync 恢复钩子没有 adapter 调用过,且 dead 检查排在 resync 分支之前,结构上不可达。
    3. 影响范围与严重程度:仅影响开启 pluginIncrementalTurns 的会话(默认 0% rollout,纯 opt-in);命中的会话永久失去增量收益。正确性无损、不丢数据,属特定条件下的性能退化,非功能损坏。
    4. 怎么修复的:把「一次漂移 = 永久死亡」改为「一次漂移 = 下一轮全量重播种自愈」;熔断器(连续 3 次无 ack)兜住真正的持续漂移;503 从「杀会话」降级为「清探测缓存」。
    5. 是否有回归问题:审过的既有行为逐项保持——seed/delta/skip 状态机、resync 契约、turn-in-flight 409、5xx 处理、probe TTL 均不变;唯一语义变化就是上表四行(全部是本 issue 的目标行为 + 一个真实缺陷修复)。turn-in-flight 型 409 现在也计入熔断计数,最坏多付一次 reseed,无害。
    6. 是否破坏缓存:不涉及。lane 侧统一表/规范历史不动;客户端只新增一个被 ack 清零的计数器 map;prefix cache 相关路径未触碰。
    7. 是否改了设计方向:不涉及。正是原增量通道的设计意图(瞬时故障自愈)落地,只是把写好了却没接线的恢复钩子变成可达路径。
    8. 是否引入新配置:无。REJECTION_CIRCUIT = 3 是内部常量,不进配置面。

    收工判定:代码侧已闭环,#3377 三个 commit(主修复 + dsh 槽位修复 + 三通道扩展与回归测试)等 08bb9c5 的 CI 走完即具备合并条件;合并后本 issue 经 Closes #3369 自动关闭。

  5. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    CI 终态确认:#3377 head 08bb9c5d0 全矩阵绿(18 成功 / 12 跳过为默认门控的 e2e 车道 / 0 失败)。合并条件已具备,等你合;合并后本 issue 自动关闭。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions