Skip to content

[e2e] fake-upstream overflow 测试与仓库 AGENTS.md 体积隐性耦合:AGENTS.md 增长即破坏 CI(#803 触发) #815

Closed

Description

@ranxianglei

来源: PR #803 (#803) 分析其 CI 失败时发现

现象

  • PR docs: auto-merge guardrails (material for #801) #803 第二个 commit(f760932,AGENTS.md +119 行 / +6,662 B)触发 CI job "real codex vs deterministic fake upstream (zero tokens)" 失败;同一 PR 第一个 commit(a81424e,仅新增 AUTO-MERGE-GUARDRAILS.md)同分支 7 个 job 全绿。
  • 同时段 master 上其他并行 PR(11:17–13:14Z 共 4 次运行)该 job 全部通过 → 非 flaky、非 codex 版本漂移,是确定性行为。
  • 失败点:overflow 测试的 warmup 阶段。bili 日志关键行:
    • [window] model=qwen3.8-27b source=launcher native=12000 effective=12000 launcher=12000 configured=none peek=262144 fallback=false
    • context 12748 tokens reached preflight target 10800 (model window 12000)
    • preflight 折叠 m00001 后 ~0 tokens saved (12748 → 12806)(system 消息不参与压缩,且只剩一条小 user 消息,无收益)
    • preflight fail-fast 502 (retryable=false) → codex exit 1 → warmup failed (code=1)

根因(已本地复现验证)

  1. e2e-fake 在 <repo>/tmp/e2e-codex-fake-* 下运行真实 codex exec(tests/e2e/e2e-codex-fake.test.ts:13 WORK_ROOT = process.cwd() + "/tmp";README 说明工作目录必须在仓库内)。
  2. codex CLI 从 cwd 向上逐级发现并拼接 AGENTS.md 进 system prompt。本地 A/B 验证(codex-cli 0.147.0,fake-upstream FAKE_REQLOG 捕获请求原文):
变体 AGENTS.md 请求原文长度 新章节标记("重灾区")
A master 24,161 B 69,424 chars 无(但含 "billion-context Development Specification")
B PR f760932 30,823 B 76,171 chars 有
C A + cwd 放空 stub AGENTS.md 24,161 B 69,442 chars 父级文本仍在(stub 也被拼接)
D cwd 移出仓库树(/tmp) – 44,380 chars 无

Δ(A→B)=6,747 chars,与文件差值精确一致;D 证明该耦合可完全切断。
3. overflow 相窗口硬编码 startCtx(12_000)(tests/e2e/e2e-codex-fake.test.ts:182)。master 基线负载(codex system prompt ≈11k tok + AGENTS.md + 小 user 消息)距 12k 窗口仅约 1k tokens 余量;#803 的 +6.6KB 直接顶穿。
4. 两个未固定输入叠加:CI 装 @openai/codex@latest 不 pin(ci-e2e.yml:21),且裸 system prompt 本身已 ~11k tokens——即使不动 AGENTS.md,一次 codex 发版也能以同样方式炸掉该 job。

影响

  • CI gate 可靠性:纯文档 PR 被 AGENTS.md 体积 block;未来任何对 AGENTS.md 净增超过余量的 PR(包括正常的规范演进)都会炸 CI。
  • 讽刺点:docs: auto-merge guardrails (material for #801) #803 正是"自动合并护栏"材料 PR,把护栏写进 AGENTS.md 的动作触发了它自己文档警告的"跨切面效应"盲区(§3 类别一)。

建议修复

  1. 主修(hermetic,已验证):e2e-fake 工作目录移出仓库树(probe D:cwd=/tmp 时请求 69,424→44,380 chars、无 AGENTS.md 注入、codex 正常工作)。注意空 stub 无效(probe C:codex 逐级拼接)。
  2. 副修(余量):overflow 相窗口 12_000 → 16_000+。主修后基线仍 ~11k tok(codex system prompt 本体),对 12k 窗口只剩 ~1k 余量;filler 每轮 +~3–4k tokens,调大后仍能在 1–2 轮内触发压缩。
  3. 纵深:CI pin codex 版本(至少运行时打印记录版本)。

建议 1+2 一起做,3 顺手做。

对 #803 的处置建议

e2e 修复落地前,#803 的 AGENTS.md 部分无法过 CI。建议 #803 只保留 AUTO-MERGE-GUARDRAILS.md(材料文档,不 block 任何东西),AGENTS.md §7 拆到后续 PR,待 e2e 修复合入后再合。

Activity

  1. ranxianglei commented on Sep 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 收到,已接手。先说初步核对(动代码前按规范先审核):

    • 代码侧确认与你的分析一致:tests/e2e/e2e-codex-fake.test.ts:13 WORK_ROOT = path.join(process.cwd(), "tmp")、:164 codex 以 cwd: ctx.work 启动(仓库树内)、:182 startCtx(12_000);ci-e2e-fake.yml:25 装 @openai/codex@latest 未 pin。该 workflow 挂 pull_request,正是 docs: auto-merge guardrails (material for #801) #803 被 block 的 gate。
    • 本机有 codex-cli 0.147.0(与你 A/B 用的同版),我会先本地复现"cwd 在仓库内 → 请求带 AGENTS.md 全文;cwd 移出仓库树 → 不带",再动手。
    • 计划按你的建议 1+2+3:① 只把 codex 的 cwd 移出仓库树(state 目录留在仓库 tmp 下——README 有"codex refuses TMPDIR homes"的历史约束,且 CI artifact 收集依赖 tmp/e2e-codex-fake-*);② overflow 窗口 12_000 → 16_000;③ 两个 e2e workflow 都 pin codex 版本 + 打印版本。另外 tests/e2e/e2e-codex.test.ts(真上游那套)是同一耦合模式(:18/:134),虽然只在 dispatch 时跑,我会一并修掉并在 PR 里说明。
    • 修完本地跑全量 fake 套件(零 token)验证后再开 PR。docs: auto-merge guardrails (material for #801) #803 的处置建议(拆 PR)我同意,等这个修复合入即可。
  2. ranxianglei commented on Sep 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 进展更新:根因已本地复现并确认,但修复过程中发现一个更深的独立缺陷,方案需要扩展,先同步结论。

    已验证(本地 A/B,codex-cli 0.147.0)

    • 复现 issue 的耦合:cwd 在仓库内时请求原文 69,413 chars(含 "billion-context Development Specification"),cwd 移出仓库树后 44,407 chars、标记消失。Δ≈25k = AGENTS.md 注入量,与你的 probe 数据一致。
    • 主修(hermetic)已实现:tests/e2e/e2e-codex-fake.test.ts 与 tests/e2e/e2e-codex.test.ts 的 codex spawn cwd 移到 $TMPDIR/billion-context-e2e*(state 目录留在 <repo>/tmp/e2e-codex-* 不动——codex 拒绝 TMPDIR home,且 CI artifact 收集依赖该路径)。空 stub 无效的结论(probe C)也写进了 README。
    • CI 两个 workflow 已 pin @openai/codex@0.147.0 + 运行时打印版本。

    新发现:hermetic 之后 e2e 仍然失败,暴露了一个 preflight 估算盲区

    把 cwd 移出去、窗口调到 16_000 之后本地跑 overflow 相:5 轮 load 全部 exit 0,但压缩从未触发。给 gate 加了临时插桩,实测每轮的 payloadEstimate:

    turn 原始 body textEstimate overhead(tools) payloadEstimate limit
    1 56,601 B 177 5,145 5,322 16,000
    2 67,018 B 2,610 5,145 7,755 16,000
    3 77,433 B 5,042 5,145 10,187 16,000
    4 87,850 B 7,475 5,145 12,620 16,000
    5 98,268 B 9,908 5,145 15,053 16,000

    turn 5 真实负载 ≈24k tokens,bili 只看到 15k → gate 永远不触发。两个叠加原因:

    1. codex 把 system prompt 作为 role=developer 项放在 input[] 里(不是 instructions 字段,实测 turn 1 的 developer 项 33,457 chars)。而 estimateWireOverhead()(src/server.ts:2140)对 responses 协议只数 instructions+tools;kernel view(estimateCoreMessages)又把 developer 前缀 hoist 掉了 → 这 ~8k tokens 对 preflight gate 完全不可见。openai chat 协议有对应的 hoisted-system 计数分支(src/server.ts:2156-2164),responses 漏了。
    2. fake-upstream 对 streaming 响应硬编码 usage.input_tokens: 1(fake-upstream.mjs:73,自初始 commit 97df100 起的占位值)。真实 provider 在 stream 里会报真实 input tokens,所以 session.stats.lastInputTokens 恒为 1,gate 只能依赖上面那个偏小的 payloadEstimate。

    这也解释了历史行为:master 上的绿恰恰依赖这个低估——触发被推迟到第 4 轮(此时已有足够可折叠 filler 让压缩成功);#803 的 warmup fail-fast 则是 AGENTS.md 把真实体积顶穿窗口、而当时还没有可折叠内容。也就是说 master 的"绿"是踩在估算盲区上的。

    修订后的方案

    1. hermetic cwd(已完成,如上)。
    2. pin codex 0.147.0 + 打印版本(已完成)。
    3. 修 estimateWireOverhead:responses 协议补计 input[] 前导连续的 developer/system 项(与 openai chat 分支对称;保守方向——只会让触发更早,不会把 fit 的 payload 误判成 overflow,fix: stitched-stream usage double-count after compress re-request (adapter-anthropic >0 guard) #300 的 safe-forward 保护不变)。这是生产环境的真隐患(任何 usage 上报缺失/stale 的 sessions 都走这条 fallback 路径),会按规范另开一个带来源标记的 issue 记录。
    4. fake-upstream 流式路径报真实 usage(estIn(raw),与非流式路径对齐),让 e2e 走和 production 相同的 measured-baseline 触发路径。
    5. 窗口取 20_000(issue 建议的 "16_000+" 区间上沿):修完后 warmup 真实基线 ≈14.2k,20k 留 ~5.8k 余量抗 codex 发版漂移;filler 每轮 +~2.6k,第 4 轮触发压缩,仍在 5 轮预算内。control 相(60k 窗口)不受影响。

    预计一次 PR 包含 1–5(核心改动很小且有单测覆盖),PR 描述里会把 e2e 加固和 estimator 修复分成两个 commit。完成后回贴 PR 链接。

  3. ranxianglei commented on Sep 16, 2026

    @ranxianglei
    OwnerAuthor

    继续

  4. ranxianglei commented on Sep 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 完成。修复已开 PR:https://github.com/ranxianglei/billion-context/pull/830**(`Fixes #815`)。分析中发现的独立生产缺陷按规范另开了 issue:#829**。最终方案与 floor 4 的预告有两处偏差,先说清楚为什么。

    验证结论(层次判断)

    • 根因确认:与你的分析一致——codex 从 spawn cwd 向上逐级拼接 AGENTS.md(本地 A/B:仓库内 69,413 chars 含仓库文档标记;移出仓库树 44,407 chars、标记消失),叠加 overflow 相窗口对基线余量过小。这是 CI gate 的环境耦合缺陷,不是 flaky。
    • master 的绿是踩在两个盲区上的偶然结果(比 issue 里指出的更深一层):
      1. tests/e2e/fake-upstream.mjs 流式路径自初始 commit 起硬编码 usage.input_tokens: 1,bili gate 消费的上报值恒为 1;
      2. estimateWireOverhead() 对 responses 协议漏计 codex 放在 input[] 里的 developer system prompt(整个 prompt 对 gate 不可见,低估 ~6–9k tokens)。gate 实际是靠"上报 usage 追上真实增长"或"低估的 payloadEstimate 慢慢爬过窗口"才触发的——docs: auto-merge guardrails (material for #801) #803 的 warmup fail-fast 正是 AGENTS.md 把真实体积顶穿、而当时无可折叠内容。

    最终方案(PR #830,全部本地验证)

    1. hermetic cwd(主修):两套 e2e(fake + 真上游)的 codex spawn cwd 移到 $TMPDIR/billion-context-e2e/*;state 目录留在 <repo>/tmp/e2e-codex-*(codex 拒绝 TMPDIR home + CI artifact 收集依赖)。空 stub 无效(probe C)已写入 README。
    2. pin @openai/codex@0.147.0 + 运行时打印版本(两个 workflow)——你建议的纵深项,顺手做了。
    3. fake-upstream 流式路径报真实 usage(estIn(raw),与非流式对齐)。
    4. overflow 窗口 12k → 10k(不是预告的 20k,原因见下)。

    两处偏差及原因

    ① estimator 修复(floor 4 方案第 3 条)没有进这个 PR,拆到了 #829。 实现并本地验证后跑全量单测:13 个测试失败——它们的窗口(10_000)是按旧的不完整估算校准的,补计 developer 项后 setup payload 实测 10,659 tok 顶穿窗口,setup 轮全部 502 fail-fast。更关键的是这属于生产行为变更(真实 codex 用户的 preflight 会整体提前触发),按仓库的 diff 整洁规范不该混进一个 CI 可靠性 PR。#829 带完整复现数据表和建议修法(含"需同步调 13 个单测"的注意事项),等单独评审。e2e 套件不依赖它也能过(hermetic + 真实 usage 已足够),所以 #815 不被它 block。

    ② 窗口取 10k 而非 20k。 在 estimator 未修的状态下,gate 的有效触发线实际由偏小的 payloadEstimate 决定:16k 实测 5 轮内只发生 1 次压缩(测试要求 ≥2 次摘要且转发 payload 有界);20k 会更晚甚至一次都没有(stale-baseline escape 会放行)。10k 让 preflight 从第 3 轮 load 开始介入,复现了原 12k 对 AGENTS.md 膨胀基线的相对位置。实测(连跑两次,确定性套件):3 次摘要调用;转发 mains 56,601 / 67,018 / 56,557 / 66,972 / 57,125 chars(peak/min=1.19 ≤ 1.3 断言通过);哨兵值全部存活于最终 payload;control 相(60k)零摘要调用。#829 落地后可把窗口回调到更贴近真实的值。

    验证结果

    • npm run typecheck ✓;npm test 1513 tests / 0 fail ✓;npm run build ✓
    • ACP_TEST_E2E_FAKE=1 node --import tsx --test tests/e2e/e2e-codex-fake.test.ts:2/2 通过 ×2 次 ✓
    • 真上游 e2e(ACP_TEST_E2E)本机无上游未跑;改动是同一已验证的 spawn-cwd 模式,CI 为手动 dispatch。
    • 纯测试基建改动,未触碰任何 wire 行为:plugin mode / proxy mode 均不受影响。

    对 #803 的处置

    不再需要拆 PR:合入 #830 后 AGENTS.md 体积再也到不了 codex 的 prompt,直接重跑 #803 的 CI 即可全绿。

    一句话总结:把 e2e 的 codex spawn cwd 移出仓库树彻底切断 AGENTS.md 注入、pin 住 codex 版本并修正 fake upstream 恒报 1 token 的占位 bug,CI 与仓库文档体积解耦,PR #830 可以合并。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions