Skip to content

wire-exit-gap-cells.test.ts timing asserts produce false CI reds on loaded runners (gap 3 header-tie, gap 5 waitFor timeout) #3583

Closed

Description

@ranxianglei

来源: #3569 (#3569) / PR #3579 (#3579) 分析 PR #3579 的 CI 结果时发现

查重: 无(检索 open+closed issue:「wire-exit-gap-cells」「headers arrived before summarization finished」「timers converge timed out」「flaky loaded runner timing」均无匹配;#3228 是对同一文件断言的历史修复,本 issue 是其未覆盖的残余面)。

现象

PR #3579(head 567c9fd = master b10c525 + threads-lane reforge 修复 3 个文件)的 CI 30 条 lane 中仅 1 条红:test (windows-latest, 22, 2),3274 个测试中挂 1 个,且与本 PR diff 完全无关:

not ok 2982 - gap 3: non-stream + preflight 429 after early commit → structured JSON error under the committed 200
location: tests/wire-exit-gap-cells.test.ts:253
error: 'headers arrived before summarization finished (6259ms vs 6259ms)'

两个时间戳完全相等(6259 == 6259),零容差的严格 < 落空。job log: https://github.com/ranxianglei/billion-context/actions/runs/39035607972/job/117404718718

机制(代码级分析)

该测试在同一进程内起 mock upstream + bili proxy + 测试客户端,共享一个事件循环:

  • SLOW_MS = 1500(tests/wire-exit-gap-cells.test.ts:40):mock 对摘要请求 setTimeout(1500) 后回 429,回调里记 summaryDoneMs = Date.now()(:183);
  • BILI_PREFLIGHT_HOLD_MS = 300(:12):proxy 约 300ms 处提前 commit 200(x-bili-preflight: compressing + 空格 keep-alive);
  • 客户端 timedPost(:144-164)在 http response 回调里记 tHeaderMs = Date.now() - t0;
  • 断言(:253):assert.ok(r.tHeaderMs < up.summaryDoneMs() - r.t0, ...)。

根因:时间戳记录在回调执行时刻,而非事件发生时刻。 加载的 runner 把事件循环饿死数秒后,恢复时积压的工作在同一毫秒簇里背靠背执行:mock 的 1500ms timer 回调(记 summaryDoneMs)与客户端的 'response' 投递(记 tHeaderMs)落在同一毫秒 → 相等 → 假红。行为本身正确(头确实早于摘要完成发出),丢的是测量精度,不是行为。:247-251 的注释说明 #3228 已把绝对墙钟上限改成相对序不变式以治同类假红,但相对序在毫秒分辨率 + 事件循环饥饿下仍会坍缩成平局,strict < 没有留缝。

本地复现(同文件兄弟单元):4 核机器上起 24 个 busy-loop 压满 CPU,连跑 10 次,第 10 次 gap 5 假红:

not ok 5 - gap 5: repeated client aborts on proxy-openai-sse → upstream destroyed, timers converge to zero each round
  error: 'timed out waiting for round 0: timers converge and upstream socket closes'

gap 5 用 waitFor(cond, 4000)(:68)墙钟预算轮询,饥饿下条件成立但观测不到 4s 墙钟之内 → 超时假红。其余 9 次全绿;空闲基线 15.3s/次,加压后 23–49s/次。gap 3 与 gap 5 同属一个失效域:墙钟/毫秒粒度假设在事件循环饥饿下不成立。

影响

  • 任何跑到该 shard(windows-latest node22)且 runner 负载高的 PR 都可能随机假红,阻塞合并、浪费一轮 re-run;master 自身同样暴露。
  • 严重度:低-中。CI 卫生问题,非产品缺陷;产品 fail-open 语义与线上行为不受影响。

建议修法(同一失效域,一处管理)

  1. gap 3(根因修法):把「头何时发出」的观测点从客户端移到 proxy 侧——加测试钩子(仿 src/fetch-util.ts 的 _liveUpstreamTimersForTest 模式)在 preflight-hold commit 处记录 commit 时刻,改断言 commitMs < summaryDoneMs。同进程内 timer 按到期顺序执行,该不等式在饥饿下结构性成立,而对真回归(commit 迟到)仍有牙。客户端观测值保留作辅助断言或降为日志。
  2. gap 5:waitFor 的 4s 墙钟预算改为加大到能容纳饥饿窗口(≥15s)或负载自适应;等待条件本身不动。
  3. 顺带清点本文件其余单元(gap 1/2 纯同步、gap 4 无时序断言,应无此问题);若发现同类墙钟假设并入本 issue 清单,不另立。

边界声明

PR #3579 的 diff(src/server/handle.ts 仅在 prepared.threadsReforge !== undefined 分支内多算一次 buildForwardTarget、src/server/threads-lane.ts side-call 出口、tests/threads-lane.test.ts)不触碰 preflight/relay/wire-exit 路径,该测试也不设 threads rollout env、路由形态(openai chat/completions)也不会 arm threadsReforge——与本 PR 无因果链。本 issue 为独立缺陷跟踪,修复另行安排,不塞进 #3579。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions