来源: #3063 (https://github.com/ranxianglei/billion-context/issues/3063) 分析 codex WS 空 turn 时发现 ## 问题 Codex CLI 流量经 bili 的 WS 转发(src/responses-ws.ts)时,prewarm probe 与后续每个 turn 走的是**不同的上游 WebSocket 连接**——每个 turn 都多一次 TLS+WS 握手。真实 Codex 是同一连接完成 probe+turn 的(openai/codex 的 per-turn ModelClientSession 缓存一条连接,prewarm 的设计目的正是预热这条连接,见 codex-rs/core/src/client.rs 注释)。 ## 证据 - 本地对 mock 上游做出站捕获:probe 与 turn 之间出现日志 `upstream checkpoint reset reason=connection-key-changed`,两组请求对应两条独立的上游 socket。 - 机制定位:`ResponsesWsUpstream.connect()`(src/responses-ws.ts,key = `${wsUrl}:${canonical(headers)}`)。probe 路径使用客户端原始握手头;turn 的 envelope 路径在头里额外携带 bili 内部标记(`x-bili-tunnel`、`x-bili-ws-lane`,由 ws-bridge.ts 盖章)→ 两组头的集合不同 → 连接键不同 → 旧连接被关闭并重建。 ## 影响 - 每 turn 一次多余的 TLS+WS 握手(延迟开销,长会话累积明显); - 若 chatgpt.com 边缘存在任何按连接维度的状态(缓存亲和等),probe 与 turn 之间无法延续——推测,未验证。 - 注意:这不是 #3063 空 turn 的根因(那个已在 PR #3072 修复),是同一子系统里独立的效率/行为观察项。 ## 建议修法方向 连接键只取稳定的路由/鉴权头(排除 x-bili-* 这类内部标记),或让两条路径盖章完全一致。注意 `x-bili-tunnel` 同时承担 bili→bili 链式转发的识别职责,改键推导时要确认不破坏链语义(#2359 的 azure 车道也要一并验证)。
Activity
ranxianglei commentedon Oct 13, 2026
(ai: vllm-qwen/qwen3.8-27b)
已修复,PR: #3081 (Closes #3073)
审核结论(先验证后动手):问题真实存在,机制定位准确。本地用 mock 上游做出站捕获复现:probe + 两个 turn 产生 2 条独立上游 WS 连接,probe→turn1 之间出现
upstream checkpoint reset reason=connection-key-changed;两组升级头逐字 diff 只有x-bili-hop(turn 多)和x-bili-tunnel(turn 多)两处差异,其余(authorization、session-id、openai-beta、x-bili-ws-lane…)逐字节相同。你给的修法方向里「只把 x-bili-* 剔除出连接键」我验证过会破坏链语义:内层 bili B 对骑在 probe 无标记连接上的 turn 失去处理器标记,handle.ts的 chain-skip 永不触发 → 静默双重压缩。所以采用「两条路径盖章完全一致」为主、键排除为辅的组合。结构化八问:
x-bili-hop/x-bili-tunnel是流水线在 turn envelope 上盖的章;上游连接键取「finalize 后完整头集合」的规范化串,两组头的集合不同 → 键不同 → 旧连接关闭重建。根因在键推导把「内部进程间标记」当成了「路由身份」。ResponsesWsUpstream.connect():finalize 之前统一盖章(缺x-bili-hop时盖自己的 instance id——镜像流水线 process-vs-skip 语义,已有标记原样保留所以链式/自环检测不受影响;无条件盖x-bili-tunnel=1),然后连接键显式排除保留命名空间x-bili-*(内部标记不可能影响上游会话身份)。另外把 codexremote_compaction_v2beta-feature 剥离从buildForwardTarget提取为共享 helper,WS 出口同样应用,probe/turn 线字节全轴一致。turn 路径盖章幂等,字节逐位不变。buildForwardTarget只做行为等价的 helper 替换,provider-protocol 20/20 绿;④ e2e-bili-chain(HTTP 链)2/2 绿;⑤ 既有connection-key-changed测试是换 URL 触发而非靠 x-bili-* 差异,不受影响。本地定向绿:codex-responses-ws 9/9、responses-websocket 41/41、ws-bridge 3/3、e2e-bili-chain 2/2、provider-protocol 20/20,typecheck 干净;全量回归看 CI。行为变更披露(有意变更):probe 出站头从「无 x-bili-hop / 无 x-bili-tunnel / 不做 beta 剥离」变为「与 turn 完全一致」。对非链式部署,真实 provider 可见字节零差异(未知 x- 头被忽略;azure 照旧剥掉全部 x-bili-*);对链式部署,内层 bili 从此在所有帧(含 probe)上看到处理器标记——严格更正确(此前 guard 对 probe 失明)。
已知残留(同族项,留在本 issue 清单内,不另开 issue):opencode 车道若客户端发 prewarm probe,其出站仍缺流水线给 turn 补的
x-session-id亲和头(#2218/#1931)。该头路由相关(聚合器/LB 亲和),不该从键里剔;正确后续是把同样的 forward-target finalize 应用到 probe 出站。opencode 是否发 probe 在本仓无法确认(e2e 需真实二进制且默认门控关),待有流量证据后再收敛。收工判定:可合入。CI 绿后请人工合并 #3081 。
ranxianglei commentedon Oct 13, 2026
(ai: vllm-qwen/qwen3.8-27b)
PR #3081 的 CI 结果跟进:四条 test 车道红了,但失败与本 PR 的改动无关,已查清并单独立项。
调查过程与证据:
#1387: clean success … emits the stop signal和#1387: partial failure … keeps the old silent tail,都在tests/compress-success-tail.test.ts—— 本 PR 完全没碰的文件(diff 只涉及 WS 转发传输 + 头处理)。preserveRecentMessages从 5 改成 3(注释标明是 owner-tuned 的有意调整),而这两个测试的场景设计把旧默认值 5 写死在算式里,从此确定性全红。也就是说 10-13 之后所有 PR 的 CI test 门禁都在恒发假红,真回归会被淹没。本 PR 其余 26 项检查全绿(含全部 e2e 真实客户端车道与各 guard 门禁),代码侧就绪;CI 的红来自上述既有问题,是否合并由你判断。
ranxianglei commentedon Oct 13, 2026
(ai: vllm-qwen/qwen3.8-27b)
更正上一条评论:我立的 #3082 经查重发现与既有的 #3075 完全相同(10-13 已开,同一根因:#3058 把默认
preserveRecentMessages从 5 改成 3 后两个过期的 #1387 测试夹具没同步),#3082 已作为重复关闭。#3075 已有修复 PR #3076(把两个夹具对齐新默认值,纯测试文件改动,当前 open 且可合并)。它合并后 test 车道恢复绿,届时重跑本 PR #3081 的 CI 即可确认全绿;在那之前 #3081 的四条 test 车道红均为上述假红,与本 PR 改动无关。
Merge pull request #3081 from ranxianglei/2026-10-14_codex-ws-single-…
fix: share one upstream WebSocket across codex WS probe and turns (ra…