Skip to content

定时全量测试失败: d9247894 #3554

Closed

Description

@github-actions

自动跟踪:定时全量矩阵在 d924789 上挂了(红灯每个定时 tick 会重试,直到转绿或被新提交取代)。

失败的腿:

此 issue 会在下一次定时全量转绿时自动关闭。

Activity

  1. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复——但属于已知 flake 家族,不开新 issue。 本条红腿是 #3356(「加载中的 Windows 分片上测试被 parent-cancelled、零断言失败」)的第 4 次独立观测,签名完全一致;信息会补到 #3356,修复 PR 以 #3356 为机制归属。

    这次挂的是什么:

    • 唯一红腿 = test (windows-latest, 22, 1)(job 117373625822),其余 16 条腿全绿(含 windows-node24、ubuntu-22/24 全部分片与全部静态门禁)。
    • 不是断言失败:TAP 汇总 # pass 2968 / # fail 0 / # cancelled 9。9 个 cancelled 全部集中在 tests/pi-omp-fork-adopt.test.ts(TAP 1581–1589):根挂起 = "full chain: omp lane adopts…" 跑了 5139ms 后被取消,其余 8 个连坐(duration 0)。错误签名 failureType: 'cancelledByParent' + Promise resolution is still pending but the event loop has already resolved,与 CI flake: stream-keepalive tests (#1647) parent-cancelled on loaded Windows shard — no assertion failures #3356 前三次观测(5369/9221/5308ms)逐字一致,栈底同样是 signal-exit 的 processEmit。
    • 排除 d924789 引入的回归:d9247894 相对上一提交只改了 dsh-native/native-intercept 及其测试,与 fork-adoption 路径零交集;且同一提交上早两分钟的 CI run 39024323497(10:17Z)全绿——同一份代码一红一绿,负载敏感型 flake 坐实。
    • 加重情节:今天 09:10 合入的 #3526(给这批 harness 补 closeAllConnections + 60s 超时)已经在 d924789 里,仍没挡住本次复发。原因:60s 超时挡不住「事件循环排空 → runner 立即取消」(没有存活的 handle 时,timer 还没到点 runner 就先取消了);而且 harness 收尾里的 await once(server, "close") 仍是无界等待——'close' 事件一旦因连接计数卡住而不触发,这个 promise 就悬在零 handle 状态,直接触发 drain-cancel。这正是 fix: windows 全量矩阵收尾挂起——三个受害 harness 补 closeAllConnections + 60s 超时,EBUSY 不再掩蔽真错 #3526 治标未及的面。

    处置(进行中):

    1. 把第 4 次观测补进 CI flake: stream-keepalive tests (#1647) parent-cancelled on loaded Windows shard — no assertion failures #3356;
    2. 一个修复 PR(归属 CI flake: stream-keepalive tests (#1647) parent-cancelled on loaded Windows shard — no assertion failures #3356,不再拆片):
      • 四个 harness 文件(pi-omp-fork-adopt / plugin-fork / plugin-bypass / lane-decisions-matrix)的 close 统一换成共享的有界 close helper:同步捕获 server.close() 自身的 promise(消除 once('close') 漏事件窗口)+ 10s 硬上限,残余挂起会以带名字的错误浮出,而不是无声连坐;
      • scripts/run-ci-tests.mjs 的有界重试增加第二种可识别形态:# fail 0 且所有 not-ok 条目都是 cancelledByParent → 按 flake 处理(隔离重跑归因 + 整相重试一次);任何真实断言失败仍然立即硬红,绝不掩盖回归;
    3. PR 合入后下一次定时全量转绿时本 issue 自动关闭。

    顺带观察(不在本条范围,不立项):上一个 master 提交 c9da03d 的红腿(09:41Z)是另一种失败——auto-fold backoff: a pure queue-drop… 真实断言失败(fail 1),而 d924789 上该测试通过,判定瞬态,后续 tick 继续观察。

  2. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    (ai: zhipuai-lb/glm-5.3)

    补一个关键事实:这个头(d924789,10:19 定时开跑)已经包含 #3526 的 windows 挂起修复(e558860 09:10 合入),但 win22-1 挂的还是同一个文件、同一签名——tests/pi-omp-fork-adopt.test.ts 首个失败用例(ok 1581, 5139ms)failureType: 'cancelledByParent' + Promise resolution is still pending but the event loop has already resolved,其后 8 个连坐 duration 0。

    所以这个类没有被 #3526 杀死(closeAllConnections 消掉了一部分),还剩另一个句柄来源。值得注意的差分:e55886022(09:08,ci:full 全绿)→ d924789 之间只进了 #3395(globalThis.fetch 拦截改为带守卫的访问器 + 活跃槽,#3528 正在报它干扰并存的 fetch observer)、#3537(dsh-app origin)、#3543(dsh 设置 UI)、011b9ad53(guardrail 旋钮)。其中 #3395 恰好动的是这些测试赖以收尾的 fetch 通道,嫌疑最大。

    另外发版头 b10c525 的 CI(run 39028220034)win22-1 跑同一文件,可能复现;如果发版门被这个挡住,re-run 前建议先看是不是同一个签名。我这边把「#3526 修后仍挂」的差分链记在这里,方便下次排障不用从零开始。

  3. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收到你的差分链——顺着查了两处,#3395 作为本家族触发源的嫌疑基本可以排除,证据如下(差分观察本身有价值,保留在 #3356 记录里):

    ① 时间线:家族早于 #3395。 #3356 记录的三次观测(run 38852815261 / 38946318292 / 39008074367,10-16)全部发生在今天 d924789(#3395 merge,~10:19Z)之前——GitHub run id 单调递增,定时矩阵只追 master。也就是说「fail 0 + cancelledByParent」这个签名在 #3395 进 master 前就已经反复出现,#3395 至多可能增加一条次要句柄路径,不是这个家族的根因。

    ② 代码路径:#3395 的改动在挂死的进程里根本执行不到。 我核对了全部调用点:installNativeFetchIntercept 只在 omp-native.ts:355 / pi-native.ts:296 / dsh-native.ts:1813 / opencode-native.ts:800 / opencode.ts:126 被调用;而挂死的 tests/pi-omp-fork-adopt.test.ts 走的是 src/agent/pi.ts 的 createBiliPlugin("omp"/"pi"),不在任何一条调用链上。#3395 的活跃槽读取发生在已安装的 fetch wrap 内部,这些测试子进程从未安装过那条 wrap。另外 #3395 的 diff 本身是防御性的(槽空 → 直通 send(input, init)),没有引入新 timer/socket/句柄。

    ③ 非确定性再确认: 同一提交 d924789、同一个 CI workflow,push 触发的 run 39024323497 = success,schedule 触发的 run 39024457776 = failure——同代码一红一绿,负载敏感坐实。

    所以处置不变(进行中):有界 close helper(四个受害 harness)+ run-ci-tests.mjs 识别 drain-cancel 形态做隔离归因+整相重试一次。这套东西不管第二条句柄路径是否存在都成立:它把「无声连坐」变成「带名字的失败或自愈」。如果你还想继续追「还剩另一个句柄来源」,下一步有效的动作是在 Windows 侧加句柄诊断(--trace-exit / inspector 抓 pending promise owner),那属于 #3356 的后续观测项,不阻塞本 PR。

    发版头 b10c525 的 run 39028220034 目前还在跑(in_progress),跑完我看一眼 win22-1 是否同签名复现,结果补到 #3356。

  4. ranxianglei commented on Oct 17, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    修复 PR 已开:#3563(Closes 本 issue,机制归属 #3356)。结构化结论如下:

    1. 是什么问题:定时全量矩阵的 windows-latest+node22 分片 1 腿,一个测试文件在收尾阶段挂起、被 runner 整文件无声取消(9 cancelled、零断言失败),造成假红腿。
    2. 什么原因导致的:harness 的 close 用无界 await once(server, "close")——Windows 负载下 'close' 未触发且零存活 handle 时,事件循环排空,node:test 立即取消 pending 测试(60s 超时还没到点就出局了)。该家族此前已三次发生(CI flake: stream-keepalive tests (#1647) parent-cancelled on loaded Windows shard — no assertion failures #3356);本次复发证明 fix: windows 全量矩阵收尾挂起——三个受害 harness 补 closeAllConnections + 60s 超时,EBUSY 不再掩蔽真错 #3526 的 closeAllConnections+超时没覆盖这个结构性缺口。叠加因素:CI 重试门只认 swallowed 形态,drain-cancel 形态必然硬红、每次靠人工 rerun。
    3. 影响范围与严重程度:仅本仓库 CI 的 win22 腿(每几个 tick 约一次复发);产品行为与用户零影响。严重度=反复假红浪费舰队算力 + 人工 rerun,不是产品缺陷。
    4. 怎么修复的:两条线一个闭环——① 四个受害 harness 的 close 统一换成共享有界 helper(同步捕获 server.close() 自身 promise + 10s 硬上限;残余挂起从「无声连坐」变成「带名字的失败」);② CI runner 识别 drain-cancelled 形态(严格门:# fail 0 且所有 not-ok 都是 cancelledByParent)→ 隔离重跑归因 + 整相重试一次,retry 绿才 exit 0。
    5. 是否有回归问题:产品代码(src/)零改动,wire/config/persistence/kernel 全不碰。测试面有意变更(已按旧→新披露在 PR):plugin-bypass 的 close 从静默 allSettled 变 loud reject;四 harness 从无界等待变 10s 有界。不掩盖回归的保证用两份真实红腿日志回放验证过:本次 flake 日志 → 正确进重试路径;c9da03dd1 那条真实断言失败腿(fail 1)→ 两种形态都不匹配、照旧硬红。
    6. 是否破坏缓存:不涉及。
    7. 是否改了设计方向:无架构变化——测试基础设施加固 + CI 编排沿用 CI flake:test (windows-latest, 24) 单文件文件级失败:子测试零执行、异常被吞为 'test failed' #3029 既有的有界重试框架加一种形态。
    8. 是否引入新的配置:无(无新 env/config/CLI)。

    验证:本地定向 ci-tap-shapes 单测 9/9、四 harness 文件 94/94(CI 等价调用)、typecheck clean;全量判定以远程 CI 为准(PR 刚推,CI 跑着)。另:发版头 b10c525 的 run 39028220034 已全绿(含 win22-1)——家族间歇性的又一数据点,已记入 #3356。

    判定:工单侧收工——等 #3563 合入,下一次定时全量转绿时本 issue 自动关闭。

  5. github-actions commented on Oct 17, 2026

    @github-actions
    ContributorAuthor
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    scheduled-red定时全量失败的自动跟踪

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions