Skip to content

Windows CI 测试腿偶发假红:3 个测试的断言对主机负载和文件锁太敏感 #3147

Closed

Description

@ranxianglei

来源: PR #3145 (#3145) 分析 #3143(CI 墙时间优化)时发现

现象

2026-10-14,PR #3145 的 CI(run head b8cad88)12 条 test 腿中 2 条红,全部在 Windows,共 3 个子测试失败。三者都是"具体断言失败"形态——按 #3029 的设计这类失败不自动重试(防止掩盖真回归),所以表现为一条看起来像回归的假红。对照证据:同一 run 里 10 条 ubuntu 腿全绿;此前 master 连续 8 次全量 run 全绿(含这两个套件在 Windows 上的通过记录);PR #3145 本身只改 CI 分片脚本,未触碰任何测试或服务端代码。

三条失败腿的日志里都伴随 EPERM 文件锁症状(rename/rmrf 被拒),指向当天 Windows hosted-runner 的环境抖动(AV/索引器争用),不是代码问题。

子缺陷清单(同一症状域:环境抖动打穿脆弱的测试假设)

A. fork-nudge-deadzone:读日志与异步刷盘的竞态

  • 位置:tests/fork-nudge-deadzone.test.ts:209,子测试 "the child's first wire turn sizes on the seeded baseline, not 0 (lane proof)"
  • 报错:AssertionError: child turn must log its nudge decision
  • 机制:测试在收到子进程 HTTP 响应后立即 readFileSync(bili.log) 并过滤 nudge 行;而 src/logger.ts:173 用异步 createWriteStream(file, {flags:"a"}) 追加写,负载高时响应先于日志落盘返回,读早了 → 行还没出现。子进程的 nudge 行实际出现在 stderr([sess=child] ... nudge idle: usage=31% (9213/30000)),证明行为正确、只是读时序竞态。
  • 建议修法:把一次性 readFileSync 改成有界轮询(最长等 N ms,等到包含 session-id+"nudge" 的行出现或超时),保持断言牙口不变。

B. storage-engine-proofs:临时目录 EPERM 超出 tmp-rm 重试预算

C. preflight-hold:绝对墙钟断言余量不足

影响

  • Windows 测试腿偶发假红(本次 2/12 条),需要人工 rerun 确认后才能合并;ubuntu 不受影响。
  • runner 负载越高、AV 活动越强,概率越高——CI 分片后单腿文件数从 656 降到 222,单腿压力更小,但同类脆弱点在任意高负载时刻都可能触发。
  • 不影响代码正确性,纯测试健壮性问题。

备注

这三个点均非 PR #3145 引入(分片只决定哪些文件同机跑,且降低了单机并发压力),是既有脆弱点被当天 Windows runner 环境抖动暴露。修复不在 #3145 范围内(每个都需要独立判断修法与牙口取舍),故单独立项。

Activity

  1. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    已按三步 triage 核实完毕,三个子缺陷的机制在当前 master 上全部对得上,开始实现。先同步核查结论:

    ① 复现/查证(拿代码和 CI 证据说话)

    • A:tests/fork-nudge-deadzone.test.ts:206-211 确认是响应返回后一次性 readFileSync(bili.log);src/logger.ts:173 确认文件腿是异步 createWriteStream(file,{flags:"a"}),log() 走 s.write() 缓冲——响应先于日志落盘返回的竞态窗口真实存在。(注:这里的"child"是 fork 出的子会话,代理本身在测试进程内跑,不是子进程;竞态性质不变。)
    • B:tests/golden-storage-drive.ts:387 确认 mkdtempSync(os.tmpdir()+"/golden-<wire>-")(Windows 即 %TEMP%\golden-responses-*,与报错路径一致),:575 finally 里 rmrf(tmp);tests/tmp-rm.ts:21 阶梯 [25,50,100,200,400,800,1600,3200,3200](≈9.8s)与描述一致。test(windows): driveWire golden-harness 清理期 index.db EBUSY 复发(#2799 族,#2808 后残留) #2908 的探针结论(rmrf 时刻无自持句柄、机制=外部 AV/索引器锁超预算)仍然成立,本例是该族的再次复发且锁时长超过了扩过之后的预算。
    • C:tests/preflight-hold.test.ts:30 SLOW_MS=1500、:163 assert.ok(r.tHeaderMs < SLOW_MS) 与报错模板逐字吻合(tHeaderMs=1724)。同文件 :332(non-stream JSON 腿)有同一形态的绝对墙钟断言,本次没红但同属该机制,会一并修。
    • CI 证据:PR ci: shard the test suite across the matrix to cut wall time ~3x (#3143) #3145 只改 .github/workflows/ci.yml、scripts/run-ci-tests.mjs、AGENTS.md/testing.md 各一行,零测试/服务端改动;head b8cad881b 的 CI run 38525560473 所有 job run_attempt=2 且全绿——即 attempt 1 红过后整轮重跑全绿,同代码不同结果,坐实环境相关 flake。
    • CI flake:test (windows-latest, 24) 单文件文件级失败:子测试零执行、异常被吞为 'test failed' #3029 设计核对:具体断言失败不自动重试(防掩盖真回归),所以这三条表现为假红需人工 rerun——与你的描述一致。

    ② 层次判断:三者都是「环境抖动 × 脆弱测试假设」的打穿点,不是产品缺陷,也不涉及压缩/wire 行为;修法都落在测试层,不动服务端语义。

    ③ 方案评估与取舍(与你建议的差异说明):

    • A:按你的建议做有界轮询,断言牙口不变;另加一个细节——找到 nudge 行后等日志流静默再终读,避免负向断言(doesNotMatch preflight compressing)撞上"nudge 行已落盘但后续 warn 行还没落盘"的残余竞态。
    • B:你的三选,我做 ②+③ 组合:临时目录挪出 %TEMP%(c=4 并发下四个 leg 共享同一个 %TEMP% 热目录互相抬升 AV 扫描压力,这是比"单纯 AV 热路径"更实的机制),同时把 teardown 清理降级为 best-effort + 显式告警——只要断言都在清理前完成,外部锁再长也打不穿绿灯。单靠放宽预算(①)已被两次复发证明是治标。
    • C:不用固定倍数放宽,改成相对不变量——mock 侧记录汇总调用真实完成时刻(同进程时钟),断言变为「头必须早于汇总完成到达」。牙口反而更准:Preflight compression holds the request with zero response bytes; client undici headersTimeout (default 300s) kills it -> repeated [preflight] summarization aborted: client disconnected 5-minute death loop, payload never forwarded #568 回归(不再 early-commit)时头会在流结束才到,必然晚于汇总完成,照样抓得住;均匀 stall 下两个事件在同一事件循环上按到期序触发,顺序不乱。

    开工,完成后带 PR 链接回复。

  2. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    修复完成,PR 已开:#3152(Closes #3147,rebase 到最新 master 42881c6——注意 #3145 已合入,分片后的 CI 正好是验证本修复的现场)。按八问收工:

    1. 是什么问题
    三个测试的断言把「环境抖动」误判为「行为回归」:日志刷盘竞态、teardown 撞外部文件锁、绝对墙钟余量不足。表现为 Windows test 腿偶发假红 + 人工 rerun 成本(本次 2/12 腿),无产品影响。

    2. 什么原因导致的
    根因层都是「测试假设了 runner 永远空闲/无锁」,不是代码缺陷:

    3. 影响范围与严重程度
    仅 CI:Windows leg 概率性假红 + fleet 重跑成本;触发条件 = runner 高负载 / AV 活跃;ubuntu 基本不受影响(同竞态存在但 Linux 无 AV 锁、tmp 压力小)。严重度 = 效率瑕疵,非功能缺陷。

    4. 怎么修复的

    5. 是否有回归风险
    零服务端改动,全部落在 tests/ 三个文件。逐项过:服务端 wire/preflight/nudge/storage 行为未触碰;golden 摘要稳定(tests/golden/* 零变更);tmp-rm ladder pin 未动(6/6 过);preflight-hold 下界断言(tEndMs >= SLOW_MS)与其余 3 个子测试原样保留。已知残留:极端情况下 persist 管线内部异步 writer 仍可能复活单个 session 文件(~14KB,inert)——由 best-effort+sweep 吸收,不为此动 src/persist.ts 生产路径(测试清理问题不值得承担该风险)。

    6. 是否破坏缓存
    不涉及(纯测试 harness 路径,不碰会话/增量游标/去重键)。

    7. 是否改了设计方向
    不转向架构。B 的取向变化值得点名:从「加大重试预算硬扛外部锁」(堵)转为「离开锁源 + 清理失败不再致命」(疏)——这是 #2908 收工时预告过的「更重的招」的落地;A/C 是把断言从「对环境的假设」改写成「对行为的不变量」,方向与 #3029 的可归因哲学一致。

    8. 是否引入新配置
    无新 env/config/CLI。唯一持久化痕迹:gitignored 的 <repo>/tmp/golden-drive/(CI worktree 里随 run 销毁;dev 机 >6h 自动扫)。

    行为变更披露(旧→新,详见 PR 描述表格):① A 缺行立即 fail → 轮询 ≤5s 后 fail;② B scratch %TEMP%\golden-* → 工作区 tmp/golden-drive/*;③ B 清理失败 throw 整腿红 → warn + inert 残留;④ C 头上界绝对 1500ms → 相对实测汇总完成时刻(stream 与 non-stream JSON 两腿都改了,后者本次没红但同机制)。

    验证:定向本地全绿(rebased head typecheck clean;fork-nudge-deadzone 3/3、preflight-hold 4/4、tmp-rm 6/6、storage-engine-proofs 12/12、golden-storage-render 5/5);全量交远程 CI。Windows EPERM 本地不可复现,最终确认看后续若干 win-latest leg。

    收工判定:可进 review/合并流程;等 CI 绿。

  3. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    PR #3152 审核时(独立代码级复核)发现一处与 B 同症状同机制域的未覆盖脆弱点,不阻塞该 PR,按粒度规则记入本 issue 作后续清单项(不单独立项):

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions