Skip to content

CI 全量测试 shard-3 端口冲突:两个固定端口 attach 用例与同分片的监听泄漏邻居撞车,四平台全挂(#3144 暴露) #3207

Closed

Description

@ranxianglei

(ai: vllm-qwen/qwen3.8-27b)

来源: #3144 分析 #3135 存储收尾清单时发现
查重: 无(按 EADDRINUSE、端口冲突、shard 分片、run-ci-tests 关键词检索 open+closed issue,均无命中)

现象

PR #3144(head 064b3c2)的 CI 全量测试:4 平台(ubuntu/windows × node22/24)× 3 分片中,只有 shard 3 在全部 4 个平台上失败,其余 8 个分片全绿,且 guard/e2e 各 lane 全绿。shard 3 里挂掉的是两个固定端口语义的用例:

同一份 shard 日志里还有 [dump] SSE stream dump failed ... ENOSPC: no space left on device,疑似同分片里某个泄漏的进程还在持续写盘。

为什么判断与 #3144 的代码无关

  1. 两个失败文件都不在 [PR] fix: storage tail defects from the #3130 review (#3135) #3144 的 diff 里([PR] fix: storage tail defects from the #3130 review (#3135) #3144 只动 storage 相关的 src/tests);
  2. master 自己的全量套件在 b2868ca(2026-10-14 15:55Z,run 38593595418)是全绿的——那时还没有新测试文件,分片划分不同;
  3. 本地把这两个文件放在一起跑:67 个用例 0 失败——不是两两必撞,需要第三个同分片邻居(某个留下监听进程不杀的文件)参与才触发;
  4. 结论:[PR] fix: storage tail defects from the #3130 review (#3135) #3144 新增 tests/issue3135-storage-tail.test.ts 后,scripts/run-ci-tests.mjs 的均衡分片把上述两个固定端口用例和那个泄漏监听的邻居划进了同一个 shard 3——是个潜伏的分片共置问题被重新均衡暴露出来。

影响

任何让分片重新均衡的变更(新增/删除测试文件)都可能把这对固定端口用例推进同样的坑;表现为 CI 红但与改动内容完全无关,误导排障(本次就花了两个排查轮次才定位到与 diff 无关)。

建议方向

  1. 用 scripts/run-ci-tests.mjs 复算当前 master + [PR] fix: storage tail defects from the #3130 review (#3135) #3144 文件的 shard 3 成员清单,找出具体是哪个邻居文件泄漏了监听进程(大概率是留 daemon 不杀的 e2e 类);
  2. 治本二选一:把 claude-native/port-zone-live 的固定端口用例改成 listen(0) 动态端口(仓库已有此先例,fix: emit /acp panel as persistent custom message and strip it from the proxy model context (#359) #360 教训),或给这类固定端口用例加"必须独占分片槽位"的调度约束;
  3. 顺带查 ENOSPC:确认是否有进程泄漏写满磁盘,放大故障面。

Activity

  1. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    佐证(来自 #3195 review 排查,细节见 #3206 最新评论):在「master 自身 CI」与「PR head rerun」两条独立运行里,都观察到固定端口 attach 用例撞上既有监听者的直接形态:

    1. zone live 用例(tests/port-zone-live.test.ts):listen 阶段 ~1ms 即败,EADDRINUSE: address already in use 127.0.0.1:18787——测试开始前 claude-native 固定端口已有监听者;
    2. hook e2e pinned port 用例(tests/claude-native.test.ts):ERR_ASSERTION hook attached to the user's daemon——hook attach 到了占着固定端口的既有 daemon,而非测试拉起的代理。

    两者均出现在 ubuntu s2/s3 shard,跨多次运行复现(master run 38606057099、PR head ead8640 的 rerun 各一轮)。支持「同分片监听泄漏邻居撞车」的判断。

  2. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复。 按 EADDRINUSE、端口冲突、shard 分片、run-ci-tests、固定端口等关键词检索 open+closed issue 均无命中(与 issue 正文的查重声明一致);#3144 线程内也无同类条目。接单开工。

    初审两个疑点(动手前先核实 issue 前提):

    1. "3 分片"与当前 master 机制对不上:master 的 scripts/run-ci-tests.mjs(诊断为什么个别ci要跑10分钟以上,是否可以优化 #2816 引入)没有分片——全部测试文件在一个 node --test 进程里以 --test-concurrency=4 单阶段跑完;CI 矩阵只有 4 条腿(ubuntu/windows × node22/24)。issue 说的"shard 3 在 4 平台全挂、其余 8 分片全绿"这个形态在当前调度器下不存在。我会先拉 [PR] fix: storage tail defects from the #3130 review (#3135) #3144 head(064b3c2)的真实 CI job/check-run 清单核对:"shard 3"到底指什么(GitHub UI 上的某个 job 序号?还是当时分支上有不同的 runner?)。
    2. claude-native 那个用例并不是固定端口:tests/claude-native.test.ts:1510 用的是 freePort() 动态端口(仓库 fix: emit /acp panel as persistent custom message and strip it from the proxy model context (#359) #360 纪律已落地)。所以"改成 listen(0) 动态端口"对它不适用——若它真的撞了 46029 上的泄漏 bili proxy,机制更可能是时序竞态(邻居文件泄漏的 proxy 在 freePort 选口之后才完成 bind)或 freePort 实现本身有坑,需要精确定位而不是照抄建议方向 2。port-zone-live 的 18787 是 zcode zone base(设计上的固定值,[Design] 定死端口 lane(claude 48787 / zcode 48789)端口被占时的 0 配置解法 #1660),那侧要查的是谁在同批里真的 listen 了 18787。

    计划:① 拉 #3144 CI 失败日志原文(两个失败用例 + ENOSPC 行);② 确定同批并发集合里哪个文件泄漏监听进程/磁盘写入;③ 治本修泄漏源头(疏不堵),必要时给调度器加约束;④ 定向验证 + PR。进展会回帖。

  3. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重结论:重复 —— 与 #3182(同族 #3184/#3188)100% 同症状+同机制+同根因,修复已在 PR #3197 在途且全绿

    先更正我第一条回复里的一个事实错误:我当时说「master 的 run-ci-tests.mjs 没有分片」——错了,那是本地 checkout 停在旧提交导致的误判。分片早已在 master(#3143,ci.yml matrix shard: [1,2,3] + LPT 按行数装箱),本 issue 的前提「#3144 新增文件触发重新均衡」完全成立。

    独立取证(不是照抄 #3182,我重新做了一遍)

    1. 分片复算精确命中:用仓库自己的 LPT 算法对 PR [PR] fix: storage tail defects from the #3130 review (#3135) #3144 的树重算分片——676 个文件,shard 大小 222/227/226,与 CI 日志的 shard 3/3: 226/676 files 逐字一致。关键差异:claude-native 与 port-zone-live 这次被装进了同一个 shard 3(更早的分区里两者分居 s3/s1)——这正好解释为什么本轮只有 shard 3 在 4 个平台全挂、其余 8 腿全绿:[PR] fix: storage tail defects from the #3130 review (#3135) #3144 的新测试文件把这对碰撞者重新装箱到一起了。
    2. 18787 并发占用实证:从 GitHub Actions API 拉下 ubuntu-22 shard-3 日志核对,同一轮 shard 运行内可见多个不同 pid 先后持有 18787(pid 6254 被 code-fingerprint-mismatch 跳过、其 spawn 的子进程 60s 后确认从未绑上端口被杀;随后 7799/7815/7863/7918/7964 依次以 lane-mismatch/fingerprint-mismatch 被跳过)——跨文件同时占 zone base 直接坐实。
    3. 两个失败形状逐一落位:
    4. ENOSPC:日志早期确有 [dump] SSE stream dump failed ... ENOSPC(runner 磁盘压力)。ci: per-file zone-port bands for live suites + bounded TOCTOU retries (#3182/#3184/#3188) #3197 的 teardown hygiene(squatter 泄漏关闭、SIGKILL 后等内核释放)会减少泄漏写盘方,但 runner 磁盘本身的问题超出本仓库可控面;ci: per-file zone-port bands for live suites + bounded TOCTOU retries (#3182/#3184/#3188) #3197 合入后若再出现再单独看,不另立项(暂无独立可复现机制,避免 issue 洪水)。

    为什么本 issue 不再单独修

    issue 建议的三个方向全部被 PR #3197(fix/3182-zone-slot-bands,Closes #3182/#3184/#3188)覆盖且方案更优:

    • 方向 1(找出泄漏邻居):上面已给出;
    • 方向 2(改动态端口或调度约束):被「每个 live 文件独立 zone 端口段」(A)+ 断言跟随端口段(B/C)+ 有界 TOCTOU 重试(D)取代——消除共享资源这个生产者本身,而不是串行化或躲让,是疏不是堵;产品侧零改动(BILI_ZONE_PORT 覆写本就存在);
    • PR ci: per-file zone-port bands for live suites + bounded TOCTOU retries (#3182/#3184/#3188) #3197 当前 CI:12 条 test 腿(ubuntu/windows × node22/24 × shard1/2/3)全 success,guard/e2e 各 lane 全绿,head 可合并(behind master,rebase 即可)。

    按先来后到规则(#3182 开于 13:49Z,#3207 开于 17:03Z,最晚):建议将本 issue 打 重复 标签并关闭,跟踪并入 #3182 / PR #3197。我没有关闭工具,请 owner 关闭(或在平台侧处理)。#3197 合入后 #3144 重跑 CI 应转绿——它的失败纯粹是共置噪声,与其 storage 改动无关。

    结构化八问

    1. 是什么问题:CI 全量测试 shard 3 四平台全红,挂的是两个固定端口语义的 e2e 用例,与 [PR] fix: storage tail defects from the #3130 review (#3135) #3144 的 diff 内容无关。
    2. 什么原因导致的:分片(ci已经运行超过20分钟了 检查为什么并作优化 #3143)把端口家族的 live 套件装进同一 shard,c=4 并发让它们同时占用机器级端口资源(zone base 18787 + OS 临时端口池 TOCTOU);[PR] fix: storage tail defects from the #3130 review (#3135) #3144 的新文件只是把碰撞对重新装箱到同片,触发了潜伏问题。
    3. 影响范围与严重程度:纯 CI 稳定性误报(每轮随机红、误导排障),无产品代码缺陷、无数据丢失;任何增删测试文件的分支都可能换一种组合再抽中。
    4. 怎么修复的:未在本 issue 修复——已由 PR ci: per-file zone-port bands for live suites + bounded TOCTOU retries (#3182/#3184/#3188) #3197 按「每文件独立端口段 + 有界重试 + teardown 卫生」治本,CI 全绿待合并。
    5. 是否有回归问题:不涉及(我未改任何代码)。
    6. 是否破坏缓存:不涉及。
    7. 是否改了设计方向:不涉及(产品侧零变更,仅 CI/测试基建)。
    8. 是否引入了新的配置:无新配置(BILI_ZONE_PORT 为既有产品能力,由 CI preload 注入使用)。

    收工判定:本 issue 应作为 #3182 的重复关闭,工作并入 PR #3197;无需第二个 PR。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions