Skip to content

codex WS 转发:每个 turn 都新开一条上游 WebSocket 连接(probe 与 turn 的连接键不一致) #3073

Closed

Description

@ranxianglei

来源: #3063 (#3063) 分析 codex WS 空 turn 时发现

问题

Codex CLI 流量经 bili 的 WS 转发(src/responses-ws.ts)时,prewarm probe 与后续每个 turn 走的是不同的上游 WebSocket 连接——每个 turn 都多一次 TLS+WS 握手。真实 Codex 是同一连接完成 probe+turn 的(openai/codex 的 per-turn ModelClientSession 缓存一条连接,prewarm 的设计目的正是预热这条连接,见 codex-rs/core/src/client.rs 注释)。

证据

  • 本地对 mock 上游做出站捕获:probe 与 turn 之间出现日志 upstream checkpoint reset reason=connection-key-changed,两组请求对应两条独立的上游 socket。
  • 机制定位:ResponsesWsUpstream.connect()(src/responses-ws.ts,key = ${wsUrl}:${canonical(headers)})。probe 路径使用客户端原始握手头;turn 的 envelope 路径在头里额外携带 bili 内部标记(x-bili-tunnel、x-bili-ws-lane,由 ws-bridge.ts 盖章)→ 两组头的集合不同 → 连接键不同 → 旧连接被关闭并重建。

影响

建议修法方向

连接键只取稳定的路由/鉴权头(排除 x-bili-* 这类内部标记),或让两条路径盖章完全一致。注意 x-bili-tunnel 同时承担 bili→bili 链式转发的识别职责,改键推导时要确认不破坏链语义(#2359 的 azure 车道也要一并验证)。

Activity

  1. ranxianglei commented on Oct 13, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    已修复,PR: #3081 (Closes #3073)

    审核结论(先验证后动手):问题真实存在,机制定位准确。本地用 mock 上游做出站捕获复现:probe + 两个 turn 产生 2 条独立上游 WS 连接,probe→turn1 之间出现 upstream checkpoint reset reason=connection-key-changed;两组升级头逐字 diff 只有 x-bili-hop(turn 多)和 x-bili-tunnel(turn 多)两处差异,其余(authorization、session-id、openai-beta、x-bili-ws-lane…)逐字节相同。你给的修法方向里「只把 x-bili-* 剔除出连接键」我验证过会破坏链语义:内层 bili B 对骑在 probe 无标记连接上的 turn 失去处理器标记,handle.ts 的 chain-skip 永不触发 → 静默双重压缩。所以采用「两条路径盖章完全一致」为主、键排除为辅的组合。

    结构化八问:

    1. 是什么问题:codex WS 转发时 prewarm probe 和后续 turn 走不同的上游 WebSocket——每条客户端连接在 probe→turn 切换时白白多一次 TLS+WS 握手,上游 checkpoint 也被连坐作废。
    2. 什么原因导致的:probe 分支绕过流水线直接出站,而 x-bili-hop/x-bili-tunnel 是流水线在 turn envelope 上盖的章;上游连接键取「finalize 后完整头集合」的规范化串,两组头的集合不同 → 键不同 → 旧连接关闭重建。根因在键推导把「内部进程间标记」当成了「路由身份」。
    3. 影响范围与严重程度:所有经 bili 的 codex WS 会话(每条客户端连接一次多余握手 + checkpoint 重建);长会话累积延迟明显。属效率/行为问题,不丢数据、不断流;若 chatgpt.com 边缘有按连接维度的状态(缓存亲和等),probe 与 turn 之间无法延续——这条仍是推测,未验证。
    4. 怎么修复的:改动收敛到两条路径共同经过的唯一出口 ResponsesWsUpstream.connect():finalize 之前统一盖章(缺 x-bili-hop 时盖自己的 instance id——镜像流水线 process-vs-skip 语义,已有标记原样保留所以链式/自环检测不受影响;无条件盖 x-bili-tunnel=1),然后连接键显式排除保留命名空间 x-bili-*(内部标记不可能影响上游会话身份)。另外把 codex remote_compaction_v2 beta-feature 剥离从 buildForwardTarget 提取为共享 helper,WS 出口同样应用,probe/turn 线字节全轴一致。turn 路径盖章幂等,字节逐位不变。
    5. 是否回归问题:逐项审过——① 链式 bili(A→B):新增叠层代理测试钉住「恰好一条 chain warn、mock 收到的 turn body 恰好一条注入 developer 消息、A 的标记逐字透传未被 B 重盖」;② azure OpenCode V2 Azure Responses WebSocket bypasses native ACP interception; status can show stale compressed context #2359:盖章发生在 finalize 前,azure 剥 x-bili-* 照旧生效,既有单测 41/41 绿;③ HTTP 车道 buildForwardTarget 只做行为等价的 helper 替换,provider-protocol 20/20 绿;④ e2e-bili-chain(HTTP 链)2/2 绿;⑤ 既有 connection-key-changed 测试是换 URL 触发而非靠 x-bili-* 差异,不受影响。本地定向绿:codex-responses-ws 9/9、responses-websocket 41/41、ws-bridge 3/3、e2e-bili-chain 2/2、provider-protocol 20/20,typecheck 干净;全量回归看 CI。
    6. 是否破坏缓存:没有。上游 checkpoint 生命周期不变(连接复用后反而少了一次无谓 reset);prompt-cache 亲和头(x-session-id 等)推导逻辑未动;消息 ref/id 体系未触碰。
    7. 是否改了设计方向:没有转向,只是把「单一出口」原则落到 WS 车道:连接键 = 路由身份(URL + 稳定头),内部标记在生产者侧归一化后不再参与键推导。
    8. 是否引入新配置:不涉及。无新 env/config/CLI flag;kernel 未触碰。

    行为变更披露(有意变更):probe 出站头从「无 x-bili-hop / 无 x-bili-tunnel / 不做 beta 剥离」变为「与 turn 完全一致」。对非链式部署,真实 provider 可见字节零差异(未知 x- 头被忽略;azure 照旧剥掉全部 x-bili-*);对链式部署,内层 bili 从此在所有帧(含 probe)上看到处理器标记——严格更正确(此前 guard 对 probe 失明)。

    已知残留(同族项,留在本 issue 清单内,不另开 issue):opencode 车道若客户端发 prewarm probe,其出站仍缺流水线给 turn 补的 x-session-id 亲和头(#2218/#1931)。该头路由相关(聚合器/LB 亲和),不该从键里剔;正确后续是把同样的 forward-target finalize 应用到 probe 出站。opencode 是否发 probe 在本仓无法确认(e2e 需真实二进制且默认门控关),待有流量证据后再收敛。

    收工判定:可合入。CI 绿后请人工合并 #3081 。

  2. ranxianglei commented on Oct 13, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    PR #3081 的 CI 结果跟进:四条 test 车道红了,但失败与本 PR 的改动无关,已查清并单独立项。

    调查过程与证据:

    1. 四条车道(ubuntu/windows × node22/24)失败的是同样两个测试:#1387: clean success … emits the stop signal 和 #1387: partial failure … keeps the old silent tail,都在 tests/compress-success-tail.test.ts —— 本 PR 完全没碰的文件(diff 只涉及 WS 转发传输 + 头处理)。
    2. 在干净的 master checkout(c800ed1bb,零改动)上本地单跑该测试文件 → 挂同样的两个测试。证明与 fix: share one upstream WebSocket across codex WS probe and turns (#3073) #3081 的 diff 无关。
    3. 根因:10-13 合入的 compress.preserveRecentMessages default 5 → 3 (#3058) #3061(即 compress.preserveRecentMessages default 5 → 3 (kernel default + web display + docs) #3058)把 kernel 默认 preserveRecentMessages 从 5 改成 3(注释标明是 owner-tuned 的有意调整),而这两个测试的场景设计把旧默认值 5 写死在算式里,从此确定性全红。也就是说 10-13 之后所有 PR 的 CI test 门禁都在恒发假红,真回归会被淹没。
    4. 已立独立 issue:#3082(含复现步骤、根因、修法建议——每个测试几行,对齐新默认值即可)。另记录了 windows-24 车道一条孤立失败(preflight 429 gap-3 测试),四条车道仅出现一次,疑似偶发,供观察。

    本 PR 其余 26 项检查全绿(含全部 e2e 真实客户端车道与各 guard 门禁),代码侧就绪;CI 的红来自上述既有问题,是否合并由你判断。

  3. ranxianglei commented on Oct 13, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    更正上一条评论:我立的 #3082 经查重发现与既有的 #3075 完全相同(10-13 已开,同一根因:#3058 把默认 preserveRecentMessages 从 5 改成 3 后两个过期的 #1387 测试夹具没同步),#3082 已作为重复关闭。

    #3075 已有修复 PR #3076(把两个夹具对齐新默认值,纯测试文件改动,当前 open 且可合并)。它合并后 test 车道恢复绿,届时重跑本 PR #3081 的 CI 即可确认全绿;在那之前 #3081 的四条 test 车道红均为上述假红,与本 PR 改动无关。

  4. added a commit that references this issue on Oct 14, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions