来源: PR #803 (https://github.com/ranxianglei/billion-context/pull/803) 分析其 CI 失败时发现 ## 现象 - PR #803 第二个 commit(`f760932`,AGENTS.md +119 行 / +6,662 B)触发 CI job "real codex vs deterministic fake upstream (zero tokens)" 失败;同一 PR 第一个 commit(`a81424e`,仅新增 AUTO-MERGE-GUARDRAILS.md)同分支 7 个 job 全绿。 - 同时段 master 上其他并行 PR(11:17–13:14Z 共 4 次运行)该 job 全部通过 → 非 flaky、非 codex 版本漂移,是**确定性行为**。 - 失败点:overflow 测试的 warmup 阶段。bili 日志关键行: - `[window] model=qwen3.8-27b source=launcher native=12000 effective=12000 launcher=12000 configured=none peek=262144 fallback=false` - `context 12748 tokens reached preflight target 10800 (model window 12000)` - preflight 折叠 m00001 后 `~0 tokens saved (12748 → 12806)`(system 消息不参与压缩,且只剩一条小 user 消息,无收益) - `preflight fail-fast 502 (retryable=false)` → codex exit 1 → `warmup failed (code=1)` ## 根因(已本地复现验证) 1. e2e-fake 在 `<repo>/tmp/e2e-codex-fake-*` 下运行真实 `codex exec`(tests/e2e/e2e-codex-fake.test.ts:13 `WORK_ROOT = process.cwd() + "/tmp"`;README 说明工作目录必须在仓库内)。 2. codex CLI 从 cwd **向上逐级发现并拼接** `AGENTS.md` 进 system prompt。本地 A/B 验证(codex-cli 0.147.0,fake-upstream FAKE_REQLOG 捕获请求原文): | 变体 | AGENTS.md | 请求原文长度 | 新章节标记("重灾区") | |---|---|---|---| | A master | 24,161 B | 69,424 chars | 无(但含 "billion-context Development Specification") | | B PR f760932 | 30,823 B | 76,171 chars | **有** | | C A + cwd 放空 stub AGENTS.md | 24,161 B | 69,442 chars | 父级文本仍在(stub 也被拼接) | | D cwd 移出仓库树(/tmp) | – | 44,380 chars | **无** | Δ(A→B)=6,747 chars,与文件差值精确一致;D 证明该耦合可完全切断。 3. overflow 相窗口硬编码 `startCtx(12_000)`(tests/e2e/e2e-codex-fake.test.ts:182)。master 基线负载(codex system prompt ≈11k tok + AGENTS.md + 小 user 消息)距 12k 窗口仅约 1k tokens 余量;#803 的 +6.6KB 直接顶穿。 4. 两个未固定输入叠加:CI 装 `@openai/codex@latest` 不 pin(ci-e2e.yml:21),且裸 system prompt 本身已 ~11k tokens——即使不动 AGENTS.md,一次 codex 发版也能以同样方式炸掉该 job。 ## 影响 - CI gate 可靠性:纯文档 PR 被 AGENTS.md 体积 block;未来任何对 AGENTS.md 净增超过余量的 PR(包括正常的规范演进)都会炸 CI。 - 讽刺点:#803 正是"自动合并护栏"材料 PR,把护栏写进 AGENTS.md 的动作触发了它自己文档警告的"跨切面效应"盲区(§3 类别一)。 ## 建议修复 1. **主修(hermetic,已验证)**:e2e-fake 工作目录移出仓库树(probe D:cwd=/tmp 时请求 69,424→44,380 chars、无 AGENTS.md 注入、codex 正常工作)。注意空 stub **无效**(probe C:codex 逐级拼接)。 2. **副修(余量)**:overflow 相窗口 `12_000` → `16_000`+。主修后基线仍 ~11k tok(codex system prompt 本体),对 12k 窗口只剩 ~1k 余量;filler 每轮 +~3–4k tokens,调大后仍能在 1–2 轮内触发压缩。 3. **纵深**:CI pin codex 版本(至少运行时打印记录版本)。 建议 1+2 一起做,3 顺手做。 ## 对 #803 的处置建议 e2e 修复落地前,#803 的 AGENTS.md 部分无法过 CI。建议 #803 只保留 AUTO-MERGE-GUARDRAILS.md(材料文档,不 block 任何东西),AGENTS.md §7 拆到后续 PR,待 e2e 修复合入后再合。
Activity
ranxianglei commentedon Sep 15, 2026
[bot] 🏷 收到,已接手。先说初步核对(动代码前按规范先审核):
tests/e2e/e2e-codex-fake.test.ts:13WORK_ROOT = path.join(process.cwd(), "tmp")、:164codex 以cwd: ctx.work启动(仓库树内)、:182startCtx(12_000);ci-e2e-fake.yml:25装@openai/codex@latest未 pin。该 workflow 挂pull_request,正是 docs: auto-merge guardrails (material for #801) #803 被 block 的 gate。tmp/e2e-codex-fake-*);② overflow 窗口12_000 → 16_000;③ 两个 e2e workflow 都 pin codex 版本 + 打印版本。另外tests/e2e/e2e-codex.test.ts(真上游那套)是同一耦合模式(:18/:134),虽然只在 dispatch 时跑,我会一并修掉并在 PR 里说明。ranxianglei commentedon Sep 15, 2026
[bot] 🏷 进展更新:根因已本地复现并确认,但修复过程中发现一个更深的独立缺陷,方案需要扩展,先同步结论。
已验证(本地 A/B,codex-cli 0.147.0)
tests/e2e/e2e-codex-fake.test.ts与tests/e2e/e2e-codex.test.ts的 codex spawn cwd 移到$TMPDIR/billion-context-e2e*(state 目录留在<repo>/tmp/e2e-codex-*不动——codex 拒绝 TMPDIR home,且 CI artifact 收集依赖该路径)。空 stub 无效的结论(probe C)也写进了 README。@openai/codex@0.147.0+ 运行时打印版本。新发现:hermetic 之后 e2e 仍然失败,暴露了一个 preflight 估算盲区
把 cwd 移出去、窗口调到 16_000 之后本地跑 overflow 相:5 轮 load 全部 exit 0,但压缩从未触发。给 gate 加了临时插桩,实测每轮的
payloadEstimate:turn 5 真实负载 ≈24k tokens,bili 只看到 15k → gate 永远不触发。两个叠加原因:
role=developer项放在input[]里(不是instructions字段,实测 turn 1 的 developer 项 33,457 chars)。而estimateWireOverhead()(src/server.ts:2140)对 responses 协议只数instructions+tools;kernel view(estimateCoreMessages)又把 developer 前缀 hoist 掉了 → 这 ~8k tokens 对 preflight gate 完全不可见。openai chat 协议有对应的 hoisted-system 计数分支(src/server.ts:2156-2164),responses 漏了。usage.input_tokens: 1(fake-upstream.mjs:73,自初始 commit 97df100 起的占位值)。真实 provider 在 stream 里会报真实 input tokens,所以session.stats.lastInputTokens恒为 1,gate 只能依赖上面那个偏小的payloadEstimate。这也解释了历史行为:master 上的绿恰恰依赖这个低估——触发被推迟到第 4 轮(此时已有足够可折叠 filler 让压缩成功);#803 的 warmup fail-fast 则是 AGENTS.md 把真实体积顶穿窗口、而当时还没有可折叠内容。也就是说 master 的"绿"是踩在估算盲区上的。
修订后的方案
estimateWireOverhead:responses 协议补计input[]前导连续的 developer/system 项(与 openai chat 分支对称;保守方向——只会让触发更早,不会把 fit 的 payload 误判成 overflow,fix: stitched-stream usage double-count after compress re-request (adapter-anthropic >0 guard) #300 的 safe-forward 保护不变)。这是生产环境的真隐患(任何 usage 上报缺失/stale 的 sessions 都走这条 fallback 路径),会按规范另开一个带来源标记的 issue 记录。estIn(raw),与非流式路径对齐),让 e2e 走和 production 相同的 measured-baseline 触发路径。预计一次 PR 包含 1–5(核心改动很小且有单测覆盖),PR 描述里会把 e2e 加固和 estimator 修复分成两个 commit。完成后回贴 PR 链接。
ranxianglei commentedon Sep 16, 2026
继续
ranxianglei commentedon Sep 16, 2026
[bot] 🏷 完成。修复已开 PR:https://github.com/ranxianglei/billion-context/pull/830**(`Fixes #815`)。分析中发现的独立生产缺陷按规范另开了 issue:#829**。最终方案与 floor 4 的预告有两处偏差,先说清楚为什么。
验证结论(层次判断)
tests/e2e/fake-upstream.mjs流式路径自初始 commit 起硬编码usage.input_tokens: 1,bili gate 消费的上报值恒为 1;estimateWireOverhead()对 responses 协议漏计 codex 放在input[]里的 developer system prompt(整个 prompt 对 gate 不可见,低估 ~6–9k tokens)。gate 实际是靠"上报 usage 追上真实增长"或"低估的 payloadEstimate 慢慢爬过窗口"才触发的——docs: auto-merge guardrails (material for #801) #803 的 warmup fail-fast 正是 AGENTS.md 把真实体积顶穿、而当时无可折叠内容。最终方案(PR #830,全部本地验证)
$TMPDIR/billion-context-e2e/*;state 目录留在<repo>/tmp/e2e-codex-*(codex 拒绝 TMPDIR home + CI artifact 收集依赖)。空 stub 无效(probe C)已写入 README。@openai/codex@0.147.0+ 运行时打印版本(两个 workflow)——你建议的纵深项,顺手做了。estIn(raw),与非流式对齐)。两处偏差及原因
① estimator 修复(floor 4 方案第 3 条)没有进这个 PR,拆到了 #829。 实现并本地验证后跑全量单测:13 个测试失败——它们的窗口(10_000)是按旧的不完整估算校准的,补计 developer 项后 setup payload 实测 10,659 tok 顶穿窗口,setup 轮全部 502 fail-fast。更关键的是这属于生产行为变更(真实 codex 用户的 preflight 会整体提前触发),按仓库的 diff 整洁规范不该混进一个 CI 可靠性 PR。#829 带完整复现数据表和建议修法(含"需同步调 13 个单测"的注意事项),等单独评审。e2e 套件不依赖它也能过(hermetic + 真实 usage 已足够),所以 #815 不被它 block。
② 窗口取 10k 而非 20k。 在 estimator 未修的状态下,gate 的有效触发线实际由偏小的 payloadEstimate 决定:16k 实测 5 轮内只发生 1 次压缩(测试要求 ≥2 次摘要且转发 payload 有界);20k 会更晚甚至一次都没有(stale-baseline escape 会放行)。10k 让 preflight 从第 3 轮 load 开始介入,复现了原 12k 对 AGENTS.md 膨胀基线的相对位置。实测(连跑两次,确定性套件):3 次摘要调用;转发 mains 56,601 / 67,018 / 56,557 / 66,972 / 57,125 chars(peak/min=1.19 ≤ 1.3 断言通过);哨兵值全部存活于最终 payload;control 相(60k)零摘要调用。#829 落地后可把窗口回调到更贴近真实的值。
验证结果
npm run typecheck✓;npm test1513 tests / 0 fail ✓;npm run build✓ACP_TEST_E2E_FAKE=1 node --import tsx --test tests/e2e/e2e-codex-fake.test.ts:2/2 通过 ×2 次 ✓ACP_TEST_E2E)本机无上游未跑;改动是同一已验证的 spawn-cwd 模式,CI 为手动 dispatch。对 #803 的处置
不再需要拆 PR:合入 #830 后 AGENTS.md 体积再也到不了 codex 的 prompt,直接重跑 #803 的 CI 即可全绿。
一句话总结:把 e2e 的 codex spawn cwd 移出仓库树彻底切断 AGENTS.md 注入、pin 住 codex 版本并修正 fake upstream 恒报 1 token 的占位 bug,CI 与仓库文档体积解耦,PR #830 可以合并。
fix: decouple e2e suites from repo AGENTS.md; pin codex; realistic fa…
test: native pi e2e — real pi package lane vs deterministic fake upst…