Skip to content

The plugin-bypass test intermittently hangs on Windows CI, turning the entire test shard red. | plugin-bypass 测试在 Windows CI 偶发挂死,拖红整个测试分片 #3702

Closed

Description

@ranxianglei

[no-dispatch]

来源: #3694 (#3694) release-audit(v0.1.200..master 窗口全量 CI 探针)时发现

What

Probe run 39119234679(head 5174c55)唯一红腿:test (windows-latest, 22, 1)。失败套件 tests/plugin-bypass.test.ts 的 plugin bypass header (#920),两个子测试均 failureType: 'cancelledByParent',错误 Promise resolution is still pending but the event loop has already resolved——第一个子测试挂起约 5.5s 后 worker 事件循环排空提前退出,第二个子测试根本没跑。全程无任何断言失败。

Why it is NOT a window regression

  • tests/plugin-bypass.test.ts 不在 v0.1.200..probe 窗口的 35 个文件里(git diff --name-only 已验证)。
  • 同一文件在其他所有腿都绿:ubuntu × node22/24 × 3 分片、windows × node24——只有 windows+node22 挂。
  • 签名是 hang(pending fetch + 事件循环排空),不是行为断言失败——更像该测试自己的 proxy/upstream mock 在 Windows/node22 上的 socket 时序竞态,不是产品行为回归。

Impact

非确定性地把整个分片拖红;每次都要人工归因(本次就是手工翻日志定位的),且会掩盖同腿上的真实回归信号。

Suggested direction

windows/node22 上循环单跑该文件复现;候选根因:mock upstream/proxy 的 close 与 in-flight fetch 竞态,或 Linux 上保活句柄在 Windows 上不保活导致进程提前退出。修法方向:fetch 加硬 AbortSignal.timeout,让失败显式化而不是靠进程退出兜底。

Activity

  1. changed the title [-]plugin-bypass 测试在 Windows CI 偶发挂死,拖红整个测试分片[/-] [+]The plugin-bypass test intermittently hangs on Windows CI, turning the entire test shard red. | plugin-bypass 测试在 Windows CI 偶发挂死,拖红整个测试分片[/+] on Oct 18, 2026
  2. ranxianglei commented on Oct 18, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    新增佐证实例(第二个受影响腿):PR #3690 的 test (windows-latest, 22, 2) 连续两次红。

    • 分支 2026-10-17_dsh-inspector-fetch-docs @ d9a2610(已 rebase 到当前 master 6d9620f),diff 仅 2 行 markdown 文档(CONFIGURATION.md / CONFIGURATION.zh-CN.md)——无产品代码、不碰任何测试文件,分片划分(按行数 LPT)与 master 完全一致。
    • 该腿(shard 2,249 个文件)的同一套文件在 ubuntu-latest node22 / node24 上全绿;红的只有 windows+node22 这一组合。
    • 两次失败都跑完了完整约 13 分钟的测试阶段才红(不是 checkout/install 阶段的早期崩溃);第二次是第一次失败后的 rerun。
    • 具体挂死的文件我这边定位不到:当前凭据拉不到 CI 日志(jobs API 无 logs_url、runs/logs 返回 404、annotations 只有 exit code 1)——留作线索缺口给做复现的人。
    • 注意:主楼点名的 plugin-bypass.test.ts 在 shard 1,本次红的是 shard 2 里的另一个文件——同一 windows+node22 组合、不同文件。按「同症状同 issue」并入本条作为第二受影响腿,不单开新条目。第三次运行(rerun)回帖时仍在跑。

    小结:这进一步支持「windows+node22 腿非确定性拖红整个分片」是组合层面的问题,而非某个分支或某个文件的问题。若走 AbortSignal.timeout 方向,建议复现时把 shard 1 与 shard 2 两条腿都覆盖,确认是否为同一个 mock socket 时序竞态的不同表现。

  3. ranxianglei commented on Oct 18, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    #3690 那条腿的后续 + 一个新基线数据点:

    1. 第三次运行也红了(rerun fix: address all code review findings (condense, routing, session-id, dead code) #2,~11:40Z 结束,仍是完整测试阶段后失败)。即 test (windows-latest, 22, 2) 在 PR [PR] docs: document DSH inspector fetch-accessor conflict + BILI_RECLAIM_FETCH_PATCH=0 workaround (#3528) #3690 head 上连续 3 红(首跑 + 两次 rerun)。
    2. 基线对照:探针 PR [PR] probe: post-#3644 master full-CI run (do not merge) #3694(head 5174c55,master 内容;与当前 master 之间除 .github/workflows/ci.yml 外零差异、无任何测试文件变化)约一小时前同腿 test (windows-latest, 22, 2) 是绿的,当时只有 shard 1 红(主楼实例)。→ 同一套测试文件,该腿在 ~1 小时窗口内从绿变持续红,支持「组合层面偶发/池负载」而非「某分支内容触发」。
    3. 并发背景:10:44–11:40Z 窗口内至少 4 个分支(探针 + 3 个功能 PR + [PR] docs: document DSH inspector fetch-accessor conflict + BILI_RECLAIM_FETCH_PATCH=0 workaround (#3528) #3690)的全矩阵在同一时间窗排队,共同挤占 windows+node22 池——若走「资源压力导致 worker 事件循环提前排空」方向,这个并发度是复现条件的一部分。

    仍缺:该腿具体挂死的文件名(当前凭据拉不到日志)。若本地能拿到 Actions 日志,建议直接看 shard 2 那次 run 里最后一个 ok N 之后的静默点。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions