Repository navigation
Closed
Description
来源: PR #3145 (#3145) 分析 #3143(CI 墙时间优化)时发现
现象
2026-10-14,PR #3145 的 CI(run head b8cad88)12 条 test 腿中 2 条红,全部在 Windows,共 3 个子测试失败。三者都是"具体断言失败"形态——按 #3029 的设计这类失败不自动重试(防止掩盖真回归),所以表现为一条看起来像回归的假红。对照证据:同一 run 里 10 条 ubuntu 腿全绿;此前 master 连续 8 次全量 run 全绿(含这两个套件在 Windows 上的通过记录);PR #3145 本身只改 CI 分片脚本,未触碰任何测试或服务端代码。
三条失败腿的日志里都伴随 EPERM 文件锁症状(rename/rmrf 被拒),指向当天 Windows hosted-runner 的环境抖动(AV/索引器争用),不是代码问题。
子缺陷清单(同一症状域:环境抖动打穿脆弱的测试假设)
A. fork-nudge-deadzone:读日志与异步刷盘的竞态
- 位置:
tests/fork-nudge-deadzone.test.ts:209,子测试 "the child's first wire turn sizes on the seeded baseline, not 0 (lane proof)" - 报错:
AssertionError: child turn must log its nudge decision - 机制:测试在收到子进程 HTTP 响应后立即
readFileSync(bili.log)并过滤 nudge 行;而src/logger.ts:173用异步createWriteStream(file, {flags:"a"})追加写,负载高时响应先于日志落盘返回,读早了 → 行还没出现。子进程的 nudge 行实际出现在 stderr([sess=child] ... nudge idle: usage=31% (9213/30000)),证明行为正确、只是读时序竞态。 - 建议修法:把一次性
readFileSync改成有界轮询(最长等 N ms,等到包含 session-id+"nudge" 的行出现或超时),保持断言牙口不变。
B. storage-engine-proofs:临时目录 EPERM 超出 tmp-rm 重试预算
- 位置:
tests/storage-engine-proofs.test.ts,子测试 "storage engine: full-mode restart is invisible on the responses wire (...)"(同文件的 chat/anthropic/google wire 兄弟子测试通过) - 报错:teardown 阶段
EPERM, Permission denied: \\?\C:\Users\RUNNER~1\AppData\Local\Temp\golden-responses-*,栈rmSync → defaultRm(tests/tmp-rm.ts:30) → rmrf(tmp-rm.ts:45) → driveWire(tests/golden-storage-drive.ts:575) - 机制:
tests/tmp-rm.ts的重试阶梯[25,50,100,200,400,800,1600,3200,3200](合计 ~9.8s)已覆盖 EPERM(test(windows): driveWire golden-harness 清理期 index.db EBUSY 复发(#2799 族,#2808 后残留) #2908 为 c=4 并发扩过),但外部 AV/索引器锁超出了整个预算。与 fix: survive a corrupt unified index by degrading to legacy-only (#2771) + storage-engine proof battery #2772 / Windows CI: storage-engine-proofs 套件清理 temp 目录遇 EBUSY/EPERM,windows test leg 随机红 #2799 / test(windows): driveWire golden-harness 清理期 index.db EBUSY 复发(#2799 族,#2808 后残留) #2908 同族。 - 建议修法(择一或组合):① 预算再放宽一档;② golden-storage 临时目录挪出
C:\Users\RUNNER~1\AppData\Local\Temp(AV 热路径)改到工作区本地路径;③ teardown 清理降级为 best-effort + 运行结束后 sweep。
C. preflight-hold:绝对墙钟断言余量不足
- 位置:
tests/preflight-hold.test.ts:163,子测试 "Preflight compression holds the request with zero response bytes; client undici headersTimeout (default 300s) kills it -> repeated[preflight] summarization aborted: client disconnected5-minute death loop, payload never forwarded #568: stream + slow preflight → early 200 + SSE keep-alive, then the real stream" - 报错:
AssertionError: headers arrived before summarization finished (1724ms)—— 即assert.ok(r.tHeaderMs < SLOW_MS)中SLOW_MS = 1500(第 30 行),实测 tHeaderMs=1724 - 机制:该测试是进程内代理(startProxy,无子进程),断言"慢 preflight 场景下 early-200 的头必须早于 1500ms 的汇总完成点到达"。这是绝对墙钟余量:正常负载下 tHeaderMs 远小于 1500,但高负载 runner 上事件循环 stall 几百毫秒就把余量吃光。行为本身正确(后续断言
tEndMs >= SLOW_MS、keep-alive、真实流内容都成立)。 - 建议修法:把绝对上界改成自适应/相对表述(保留牙口:头必须先于汇总完成到达,例如以实测基线加固定 slack,或放宽到 SLOW_MS 的明确倍数并在注释里写明理由),避免每次 runner 抖动都假红。
影响
- Windows 测试腿偶发假红(本次 2/12 条),需要人工 rerun 确认后才能合并;ubuntu 不受影响。
- runner 负载越高、AV 活动越强,概率越高——CI 分片后单腿文件数从 656 降到 222,单腿压力更小,但同类脆弱点在任意高负载时刻都可能触发。
- 不影响代码正确性,纯测试健壮性问题。
备注
这三个点均非 PR #3145 引入(分片只决定哪些文件同机跑,且降低了单机并发压力),是既有脆弱点被当天 Windows runner 环境抖动暴露。修复不在 #3145 范围内(每个都需要独立判断修法与牙口取舍),故单独立项。
Metadata
Metadata
Assignees
Labels
No labels
Activity
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
已按三步 triage 核实完毕,三个子缺陷的机制在当前 master 上全部对得上,开始实现。先同步核查结论:
① 复现/查证(拿代码和 CI 证据说话)
tests/fork-nudge-deadzone.test.ts:206-211确认是响应返回后一次性readFileSync(bili.log);src/logger.ts:173确认文件腿是异步createWriteStream(file,{flags:"a"}),log()走s.write()缓冲——响应先于日志落盘返回的竞态窗口真实存在。(注:这里的"child"是 fork 出的子会话,代理本身在测试进程内跑,不是子进程;竞态性质不变。)tests/golden-storage-drive.ts:387确认mkdtempSync(os.tmpdir()+"/golden-<wire>-")(Windows 即%TEMP%\golden-responses-*,与报错路径一致),:575finally 里rmrf(tmp);tests/tmp-rm.ts:21阶梯[25,50,100,200,400,800,1600,3200,3200](≈9.8s)与描述一致。test(windows): driveWire golden-harness 清理期 index.db EBUSY 复发(#2799 族,#2808 后残留) #2908 的探针结论(rmrf 时刻无自持句柄、机制=外部 AV/索引器锁超预算)仍然成立,本例是该族的再次复发且锁时长超过了扩过之后的预算。tests/preflight-hold.test.ts:30SLOW_MS=1500、:163assert.ok(r.tHeaderMs < SLOW_MS)与报错模板逐字吻合(tHeaderMs=1724)。同文件:332(non-stream JSON 腿)有同一形态的绝对墙钟断言,本次没红但同属该机制,会一并修。.github/workflows/ci.yml、scripts/run-ci-tests.mjs、AGENTS.md/testing.md 各一行,零测试/服务端改动;headb8cad881b的 CI run 38525560473 所有 jobrun_attempt=2且全绿——即 attempt 1 红过后整轮重跑全绿,同代码不同结果,坐实环境相关 flake。② 层次判断:三者都是「环境抖动 × 脆弱测试假设」的打穿点,不是产品缺陷,也不涉及压缩/wire 行为;修法都落在测试层,不动服务端语义。
③ 方案评估与取舍(与你建议的差异说明):
doesNotMatch preflight compressing)撞上"nudge 行已落盘但后续 warn 行还没落盘"的残余竞态。%TEMP%(c=4 并发下四个 leg 共享同一个%TEMP%热目录互相抬升 AV 扫描压力,这是比"单纯 AV 热路径"更实的机制),同时把 teardown 清理降级为 best-effort + 显式告警——只要断言都在清理前完成,外部锁再长也打不穿绿灯。单靠放宽预算(①)已被两次复发证明是治标。[preflight] summarization aborted: client disconnected5-minute death loop, payload never forwarded #568 回归(不再 early-commit)时头会在流结束才到,必然晚于汇总完成,照样抓得住;均匀 stall 下两个事件在同一事件循环上按到期序触发,顺序不乱。开工,完成后带 PR 链接回复。
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
修复完成,PR 已开:#3152(
Closes #3147,rebase 到最新 master 42881c6——注意 #3145 已合入,分片后的 CI 正好是验证本修复的现场)。按八问收工:1. 是什么问题
三个测试的断言把「环境抖动」误判为「行为回归」:日志刷盘竞态、teardown 撞外部文件锁、绝对墙钟余量不足。表现为 Windows test 腿偶发假红 + 人工 rerun 成本(本次 2/12 腿),无产品影响。
2. 什么原因导致的
根因层都是「测试假设了 runner 永远空闲/无锁」,不是代码缺陷:
%TEMP%(AV/索引器热路径 × c=4 四腿共享),外部锁时长可以超过任何固定重试预算(test(windows): driveWire golden-harness 清理期 index.db EBUSY 复发(#2799 族,#2808 后残留) #2908 扩预算已两次复发证明治标)。另发现一个 issue 未列的进程内机制(本地验证时实锤):startServer 无条件配置 tee logger,其文件流在删除后仍指向 tmp 树,任何后续 log 行触发孤儿 inode 检测并 REOPEN 被删路径、把目录树复活在 rmrf 中途——test: teardown rmSync ENOTEMPTY race — most test cleanups lack retry options (CI ubuntu-latest Node 22 flake) #1646/release v0.1.180 #1910 ENOTEMPTY/EBUSY 竞态族,本地残留billion-context/bili.log即其产物;tHeaderMs < 1500ms是绝对上界,均匀 stall 直接吃光固定余量(实测 1724ms)。3. 影响范围与严重程度
仅 CI:Windows leg 概率性假红 + fleet 重跑成本;触发条件 = runner 高负载 / AV 活跃;ubuntu 基本不受影响(同竞态存在但 Linux 无 AV 锁、tmp 压力小)。严重度 = 效率瑕疵,非功能缺陷。
4. 怎么修复的
[preflight] summarization aborted: client disconnected5-minute death loop, payload never forwarded #568 回归时头在流结束才到,必然晚于汇总完成,照样抓得住。5. 是否有回归风险
零服务端改动,全部落在 tests/ 三个文件。逐项过:服务端 wire/preflight/nudge/storage 行为未触碰;golden 摘要稳定(tests/golden/* 零变更);tmp-rm ladder pin 未动(6/6 过);preflight-hold 下界断言(tEndMs >= SLOW_MS)与其余 3 个子测试原样保留。已知残留:极端情况下 persist 管线内部异步 writer 仍可能复活单个 session 文件(~14KB,inert)——由 best-effort+sweep 吸收,不为此动 src/persist.ts 生产路径(测试清理问题不值得承担该风险)。
6. 是否破坏缓存
不涉及(纯测试 harness 路径,不碰会话/增量游标/去重键)。
7. 是否改了设计方向
不转向架构。B 的取向变化值得点名:从「加大重试预算硬扛外部锁」(堵)转为「离开锁源 + 清理失败不再致命」(疏)——这是 #2908 收工时预告过的「更重的招」的落地;A/C 是把断言从「对环境的假设」改写成「对行为的不变量」,方向与 #3029 的可归因哲学一致。
8. 是否引入新配置
无新 env/config/CLI。唯一持久化痕迹:gitignored 的
<repo>/tmp/golden-drive/(CI worktree 里随 run 销毁;dev 机 >6h 自动扫)。行为变更披露(旧→新,详见 PR 描述表格):① A 缺行立即 fail → 轮询 ≤5s 后 fail;② B scratch
%TEMP%\golden-*→ 工作区tmp/golden-drive/*;③ B 清理失败 throw 整腿红 → warn + inert 残留;④ C 头上界绝对 1500ms → 相对实测汇总完成时刻(stream 与 non-stream JSON 两腿都改了,后者本次没红但同机制)。验证:定向本地全绿(rebased head typecheck clean;fork-nudge-deadzone 3/3、preflight-hold 4/4、tmp-rm 6/6、storage-engine-proofs 12/12、golden-storage-render 5/5);全量交远程 CI。Windows EPERM 本地不可复现,最终确认看后续若干 win-latest leg。
收工判定:可进 review/合并流程;等 CI 绿。
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
PR #3152 审核时(独立代码级复核)发现一处与 B 同症状同机制域的未覆盖脆弱点,不阻塞该 PR,按粒度规则记入本 issue 作后续清单项(不单独立项):
tests/fork-nudge-deadzone.test.ts:36-37——testRoot = mkdtempSync(join(tmpdir(), "bili-fork-nudge-")),teardown 为test.after(() => rmSync(testRoot, { recursive: true, force: true })):整树在 Windows%TEMP%(AV/索引器热路径),且用裸 rmSync(不走 tests/tmp-rm.ts 的重试阶梯);树内含活跃写入直到h.close()(sessions + bili.log,XDG_*_HOME 全部指向run-*子目录)。外部锁若在 teardown 时出现,after hook 直接 throw → 整腿假红。机制域与 B/test(windows): driveWire golden-harness 清理期 index.db EBUSY 复发(#2799 族,#2808 后残留) #2908 族相同,只是尚未被触发(树更小、单腿、生命周期短)。tmp/)+ 裸 rmSync 换rmrf(或 best-effort + warn)。test: harden 3 load-sensitive suites against runner jitter (ranxiangl…
fix: make wire-exit early-commit timing asserts load-independent