Skip to content

dsh 增量轮次:标记竞态可让增量体不带标记直发,模型在无历史状态下静默答错(需开启 rollout 才触发) #3370

Closed

Description

@ranxianglei

ai: zhipuai-lb/glm-5.3

现象

pluginIncrementalTurns 对 dsh 开启后(默认 0%,今天是暗的;一旦开启此 bug 立即升为 blocker 级):同一 dsh 进程里两个并发模型请求(两个聊天窗口,或聊天 + 后台标题生成)在钩子边界交错时,一个请求的增量体(只含新消息的 delta)可能不带增量标记头直接发出。代理把它当普通请求转发——上游模型拿到的 messages 只有本轮新消息、没有任何会话历史 → 静默答错,不是报错(#1039 类损坏)。

机制链

  • omp 是在自己 beforeSend 里把标记原子地盖在同一个 init 上;opencode 用 replaceRequestPayload(e, plan.body, {marker:1}) 同样原子。
  • dsh 把两步拆开了:转换(state.beforeSend,在 native-intercept.ts:698-700 await)和盖标记(state.headersFor,在 :705 调用)之间隔着微任务边界,靠一个进程级共享布尔传递(apply() 每 dsh 进程只跑一次):
// dsh-native.ts:1377 beforeSend:转换后置位
init.body = (plan as { body: string }).body;
incMarkerArmed = true;
// dsh-native.ts:1311 headersFor:另一个钩子里消费
if (incMarkerArmed) { headers[INCREMENTAL_TURN_MARKER_HEADER] = "1"; incMarkerArmed = false; }
  • R1.beforeSend 置位 → R2.beforeSend(仍为 true)→ R2.headersFor 消费(false)→ R1.headersFor 看到 false → R1 的 delta 裸发。
  • 服务端(src/server/handle.ts:146-152)标记分流要求 x-bili-plugin-turn 存在;没有它,增量形状的 body 落回普通管线——incrementalTurnBodyShape 只在标记存在时被检查。
  • 叠加:incPendingAcks(:1350)按 URL 为键,而所有会话共享同一模型端点 URL——R2 带标记的响应会消费 R1 存的条目,noteIncrementalAck 用 R2 的 applied-seq 腐蚀 R1 的客户端状态 → 后续 409 → 会话标 dead(性能问题可自愈;上面的历史丢失不可自愈)。

建议修法

  • 把标记盖进 maybeIncrementalNative 写 body 的同一个 init(omp 模式),删掉 incMarkerArmed;
  • incPendingAcks 改按 sid(或 url+sid)为键,并补上其他 lane 都有的 per-URL 单飞行守卫(omp-native.ts:104-106、opencode-native.ts:846-848)。

触发条件:rollout 开启 + unified sidecar 存活 + anthropic 字符串 body + toolsReady + ≥2 并发跨钩子边界。引入:PR #3248/#3292。

来自 #3331 区间审查(D-H1)。cc @ranxianglei

Activity

  1. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复。 open/closed issue 与 PR 检索「dsh 增量标记竞态 / incMarkerArmed / headersFor / x-bili-plugin-turn 并发」均无既有条目;本条即 #3331 区间审查(D-H1)的正式立案,当时未开修复 PR。与在途的 #3343/#3349(增量通道服务端信任边界洞)机制不同——那条是 server 侧入口校验缺失,这条是 dsh 客户端钩子间的标记竞态,不并入。

    开始按 Issue Triage 三步走:先逐环核实代码路径(src/agent/dsh-native.ts:1311/1377、src/server/native-intercept.ts:698-705、src/server/handle.ts:146-152),确认机制成立后按 issue 建议修法实现(标记盖进写 body 的同一 init + ack 改按会话键 + 补单飞行守卫),并补回归测试。完成后开 PR 引用本 issue。

  2. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    ai: zhipuai-lb/glm-5.3

    修复 PR:#3378(stacked on #3377)。标记头改为在转换的同一 init 上原子盖 omp 模式 + per-URL 单飞行守卫 + pending 30s TTL,headersFor 的共享布尔消费分支删除。附端到端 seam 测试(标记+body 原子性/单飞行/ack 推进 delta)。

  3. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    审核完成:#3378(+ stacked #3377)机制链独立复核,核心修法成立(标记与 body 原子落位对齐 omp 模式、per-URL 单飞行 + 30s TTL、共享布尔删除;另附带修掉代理死亡重试路径丢标记的第二张脸)。

    审核中发现同管线一个真实缺陷并已直接修复推送(commit 098cabfdb):四条 lane 的 ack collector 查表后无条件消费 pending 条目——并发的全量重发请求其普通 200(无 seq)先到时会把带标响应的 ack 吃掉,导致下一轮 409 resync(自愈合的性能退化,非损坏,但恰好废掉单飞行设计)。修复依据服务端不变量(凡到达 forward 的分流响应必带 x-bili-applied-seq),四个 lane 统一处理,补了回归用例。细节见 #3378 的 review 回复。

    本地 typecheck + 定向套件绿(dsh-native 54/54 等),全量判定待 CI。合并顺序 #3377 → #3378,可合。

  4. ranxianglei commented on Oct 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收工总结:#3370 的修复 PR 已审核完毕,全部工作交付。

    剩余动作只有人工合并(#3377 → #3378)。此 issue 可随 PR 合并关闭。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions