Skip to content

[Suspected][Codex] After the short view deactivates blocks, the immediately following compaction trigger may be erroneou | [Suspected][Codex] 短视图失活 blocks 后,紧接着的 compaction trigger 可能被 gate 误放行 #4036

Closed

Description

@ReineLan

(ai: OpenAI/GPT-6)

问题摘要:疑似短视图污染 compaction gate(不是再次报告 #3844 的 zombie reap)

已复现的机制:一个原本健康、具有 active fold 的 session,经 syncBlocks([]) 同步短/空视图后,blocks 仍保留但全部 inactive;此时 codexCompactGatePre 返回 false。随后用完整主历史执行同步,active 状态和 gate 又恢复 true。

尚未确认的现场因果:现场确实是空 core view 的小请求之后,紧接着 compaction trigger 因 gate preconditions not met 被原样转发;但日志没有打印那一瞬间的 limit / baseline / active count。因此不能断言当时唯一失败条件已经被直接观测到,也尚未证明每个这类小请求必然走到此状态。

现场时间线

  • 2026-10-20T16:07:46.440Z:processTurn: 0 msgs,同刻 usage 166710 / 356250 = 47%。
  • 16:07:46.453Z:原始请求仅 2 msgs / 113.8 KiB。
  • 16:07:58.335Z:compaction_trigger 被 gate preconditions not met 放行,3580 msgs / 18.5 MiB 原样转发,不做 preflight / rebuild / window clamp。
  • 16:07:58.758Z:上游返回 400 {"detail":"Unsupported parameter: generate"}。这条响应只证明转发后失败;不把它归因于 token 溢出,也不另起参数兼容性问题。

现场没有历史 gate 参数快照。目前保存的 session 状态也不能回溯证明当时的门槛值。健康 baseline 与非零 limit 的邻近日志,加上下面的函数复现,使“active blocks 被短视图暂时清空”成为具体待验证假设。

代码路径与最小缺口

  • kernel/src/sync.ts:118:若 block 的 effective message / summary carrier 不在当前 view,就设 block.active=false,但保留 block;完整 view 可以再次激活。
  • codex-compact.ts:222:gate 要求 limit > 0、evidence-grade baseline < 90% limit,且至少一个 active block。
  • handle.ts:2354:trigger 的 gatePre 在 runPrepare() 之前计算;gate false 时主历史没有机会先同步、重新激活 blocks。

所以潜在失效窗口是:短请求失活 → 尚未收到可重激活的完整普通轮次 → trigger 先查旧 active 状态 → 放行。影响是意外转发很大的原始 compaction 请求或触发上游兼容性错误。

建议先补真实 pipeline 回归:在主会话 seed active fold,发一个现场等价的短请求,不要插入主历史恢复轮次,紧接着发携带完整历史的 trigger;记录每次 gate 的 limit、baseline/source、active/total blocks 与前次 view cardinality。再据证据决定隔离短请求 active-state 更新,或用无副作用的 gate 判断方式。不要简单把 runPrepare() 无条件移到 gate 前面,那会破坏 #335 明确要求的非拦截路径 byte-identical passthrough / no-state-mutation 约束。

环境与复查版本

  • bili:现场 trigger 未拦截事件为 0.1.201 / ff42dcc;随后成功本地 forge 及本次源码函数复现为 0.1.202 / 6deb454。
  • 模式:Proxy,Codex Responses / WebSocket;并非 native plugin 模式。
  • 客户端:Codex Desktop;rollout 元数据 cli_version=0.163.0-alpha.10.2、originator=Codex Desktop、source=vscode。Desktop 外壳精确版本未记录。
  • Windows 10 x64,build 19045;独立复现使用 Node.js 24.15.0。
  • 路由:ChatGPT/Codex Responses,模型 gpt-6.1-sol,bili effective limit 356250;未对中间转发链做独立审计。
  • compress.promptPack=lean;本地成功拦截事件证实当时 intercept 生效。未取得故障瞬间的进程环境快照,故不把默认配置推断成历史环境事实。
  • 提交前再次静态检查 master bc4a3f8:下述相关代码仍在。没有升级/修改正在使用的代理,没有宣称在 master 做过 live E2E。

脱敏最小复现(实际安装包中的函数,非手写替代实现)

Node.js 24+。把下面代码保存为 repro-gate.cjs。可使用已有安装包,或在独立临时目录准备固定版本:

npm install --prefix ./bili-repro --ignore-scripts billion-context@0.1.202
node repro-gate.cjs ./bili-repro/node_modules/billion-context

脚本从 dist/index.js.map 的 sourcesContent 提取实际函数,在隔离 VM 中执行;只读包文件,不连接/修改运行中的代理。fixture 文本、消息 ID 均为合成值。这是函数级最小复现,不是完整 HTTP/WS 集成复现;断言刻画当前问题行为。

可直接运行的 repro-gate.cjs
// Node.js 24+. Read-only unit reproduction; no live proxy mutation.
const fs = require('node:fs');
const vm = require('node:vm');
const { stripTypeScriptTypes } = require('node:module');
const { randomUUID,createHash } = require('node:crypto');
const assert = require('node:assert/strict');
const path = require('node:path');
if (!process.argv[2]) throw new Error('Usage: node repro.cjs <billion-context-package-root>');
const root = path.resolve(process.argv[2]) + path.sep;
const sm = JSON.parse(fs.readFileSync(root+'dist/index.js.map','utf8'));
function source(suffix){let i=sm.sources.findIndex(s=>s.endsWith(suffix));assert(i>=0);return sm.sourcesContent[i]}
function func(src,name){const re=new RegExp('export function '+name+"(?:<[^>]+>)?"+'\\([\\s\\S]*?^}', 'm');const hit=src.match(re);assert(hit,name);return hit[0].replace(/^export /,'')}
const prune=source('/kernel/src/prune.ts');
const prefix=prune.match(/(?:export )?const SUMMARY_ID_PREFIX[^\n]+/)[0].replace(/^export /,'');
const sync=source('/kernel/src/sync.ts').replace(/^import .*;\r?\n/gm,'').replace(/^export /gm,'');
const compact=source('/src/codex-compact.ts');
const raw=[prefix,func(prune,'summaryMessageId'),func(prune,'baseIdOf'),sync,func(source('/src/session.ts'),'statusInputBaseline'),'const CODEX_COMPACT_HEALTH_RATIO=0.9; const CODEX_COMPACT_ID_PREFIX="fc_bili_"; const CODEX_COMPACT_SENTINEL="bili:acp:";',...['codexCompactGatePre','buildTriggerForgeBody','replaceBiliCompactionItems','isBiliCompactionItem'].map(n=>func(compact,n)),compact.match(/function extractBiliSummary\([\s\S]*?^}/m)[0],'const CODEX_FORGED_HANDOFF_HEADER="[bili] context summary after compaction:";'].join('\n');
const ctx={randomUUID};vm.createContext(ctx);vm.runInContext(stripTypeScriptTypes(raw),ctx);

const packageVersion=JSON.parse(fs.readFileSync(root+'package.json','utf8')).version;
const block={blockId:'b1',active:true,summary:'OLD_WORK_COMPLETE',directMessageIds:['old1'],effectiveMessageIds:['old1'],directBlockIds:[]};
const original={blocks:[block],messageRefs:{byRaw:{},byRef:{}},tokenSnapshot:{},nudge:{anchors:{}},stats:{},nextBlockId:2,nextRunId:1};
const session={state:original,stats:{lastInputTokens:166710,lastInputTokensSource:'usage'}};
const initial=ctx.codexCompactGatePre(session,356250);
session.state=ctx.syncBlocks([],session.state).state;
const afterEmpty=ctx.codexCompactGatePre(session,356250);
const activeAfterEmpty=session.state.blocks.filter(b=>b.active).length;
session.state=ctx.syncBlocks([{id:'old1',text:'old raw'}],session.state).state;
const afterFull=ctx.codexCompactGatePre(session,356250);
assert.equal(initial,true);assert.equal(afterEmpty,false);assert.equal(activeAfterEmpty,0);assert.equal(afterFull,true);assert.equal(original.blocks[0].active,true);
console.log(JSON.stringify({packageVersion, unitReproduction:true, initial, afterEmpty, activeAfterEmpty, afterFull, inputStatePreserved:original.blocks[0].active},null,2));

本机输出(全部断言通过):

{
  "packageVersion": "0.1.202",
  "unitReproduction": true,
  "initial": true,
  "afterEmpty": false,
  "activeAfterEmpty": 0,
  "afterFull": true,
  "inputStatePreserved": true
}

脱敏现场日志

以下时间均为 UTC,原始日志的 session UUID 统一替换为 session-A;没有附原始会话正文、路径、账户、凭据或私有 endpoint。

2026-10-20T16:07:46.440Z [info] [sess=session-A] [v=0.1.201] [session-A] processTurn: 0 msgs, renderTags=text-only, 0 text tagged, 0 tool tagged (should be 0 with text-only)
2026-10-20T16:07:46.440Z [info] [sess=session-A] [v=0.1.201] [session-A] nudge idle: usage=47% (166710/356250), growth=1653/22500 (ref=165057, interval=50000), pendingT1=0/50000 model=gpt-6.1-sol, reason="max compressible 0 < threshold 50000; growth 1653 < floor 22500"
2026-10-20T16:07:46.453Z [info] [sess=session-A] [v=0.1.201] [session-A] request: 2 msgs, inbound=113.8KiB, outbound=125.8KiB, local=135ms, view=ws-expanded
2026-10-20T16:07:58.335Z [info] [sess=session-A] [v=0.1.201] [session-A] codex compaction_trigger request not intercepted (gate preconditions not met) — forwarding verbatim (no preflight, no rebuild, no window clamp)
2026-10-20T16:07:58.335Z [info] [sess=session-A] [v=0.1.201] [session-A] request: 3580 msgs, inbound=18.5MiB, outbound=18.5MiB, local=1494ms, view=ws-expanded
2026-10-20T16:07:58.758Z [warn] [sess=session-A] [v=0.1.201] [session-A] ← upstream 400: {"detail":"Unsupported parameter: generate"}

已有 issue / PR 查重与残留范围

未发现覆盖“短请求后、正常恢复前立即 trigger”时序的已有回归。建议分类:p2 / codex / scope/wiring,主题 I(其他宿主车道)。请按疑似独立残留问题 triage;函数机制可重复,历史事件的精确归因仍待 gate 快照 / E2E 确认。

Activity

  1. changed the title [-][Suspected][Codex] 短视图失活 blocks 后,紧接着的 compaction trigger 可能被 gate 误放行[/-] [+][Suspected][Codex] After the short view deactivates blocks, the immediately following compaction trigger may be erroneou | [Suspected][Codex] 短视图失活 blocks 后,紧接着的 compaction trigger 可能被 gate 误放行[/+] on Oct 20, 2026
  2. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复。 与你列的候选逐一比对——#3844/#3845 是 zombie reap(临时失活本身是合法行为,本案是 gate 在失活窗口内的误判);#398 管「短请求为什么进了主会话」(路由隔离,独立失败域,见下);#335 是本修复必须保留的设计约束;#3008/#3018 是 estimate-grade 幻影基线(本案是 evidence-grade 47%,条件不同)。现有回归没有覆盖「短请求 → 立即 trigger」这个时序。

    标签: bug / codex / scope/wiring / p2 —— 宿主车道 gate 误判,能用但 compaction 会被静默绕过。

    Bug 审核三步进展:

    1. 复现查证(机制已在当前 master 5121f45 代码级确认存在):

      • kernel/src/sync.ts:74-98:syncBlocks 把 effective message / summary carrier 不在当前视图里的 block 置 active=false 但保留 block;
      • src/codex-compact.ts:181-188:codexCompactGatePre 直接读存储态的 block.active;
      • src/server/handle.ts:2344-2345:trigger 的 gatePre 在 runPrepare() 之前计算,gate=false 时全量历史没有机会先 sync 复活 blocks;
      • 另外发现 endpoint 形态 /responses/compact(src/server/prepare-responses.ts:703)同样是 processTurn 之前做 gatePre,同形状缺陷,一并处理。
        你的函数级复现与代码路径吻合;我正在补流水线级回归钉住完整序列(seed active fold → 短请求 → 立即全量历史 trigger)。
    2. 层次判断:根因不是「短请求失活了 blocks」——那是 zombie reap 该有的行为;根因是 trigger gate 用上一个请求的视图快照判断 block 活性,而不是用它自己的输入。trigger 自带全量历史,它才是判断「fold 是否仍然有效」的权威证据。至于那条 2 消息请求为什么会进主会话,属于 fix: isolate side requests (title-gen) from main session kernel state #398 的路由隔离问题域,不在本 issue 扩范围。

    3. 方案评估:采用你的第二个选项——无副作用的 gate 判定:用 kernel 已公开导出的纯函数 syncBlocks(深拷贝 state、从不改输入)对 trigger 自己的 input 做一次探测,替代读存储标志;codec 解析不了时回退旧逻辑。不移动 runPrepare(),保持 fix: detect codex compaction requests before preflight; verbatim passthrough when not intercepted (#332) #335 的 passthrough 路径字节一致 + 无状态变更。这样未来任何形状的短请求(包括 fix: isolate side requests (title-gen) from main session kernel state #398 尚未堵住的缺口)进来,gate 都按 trigger 自己的视图判断,机制依然成立。

    回归测试 + 修复完成后提 PR(Closes #4036)。

  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    修复完成 → PR #4040(Closes #4036):#4040

    八问:

    1. 是什么问题:Codex 压缩门控用「会话里存的 block active 状态」判断是否拦截 compaction_trigger,但那个状态是上一个请求的视图写的。短旁路请求(如 2 条消息)把全部 block 置为 inactive 后,紧接着到达的、携带完整历史的 trigger 读到陈旧状态 → gate false → 18.5 MiB 原文直转上游 → 400 Unsupported parameter: generate。
    2. 什么原因导致的:根因不在短请求失活 block——那是 syncBlocks 的设计行为([Bug][Responses] Short wire requests expand past the fold-reconcile guard and reap main-session blocks #3844/[PR] fix: preserve main folds across expanded short Responses requests #3845 依赖它)。根因是判决点用了另一个时间片的状态快照:判决输入(stored flag)与判决对象(本请求的 fold 有效性)时间错位。另查证:reap 需连续 3 次 drift([Bug][proxy] unframed host-side history deletion leaves zombie fold blocks rendering carriers forever — one carrier flaps in/out every turn (persistent prefix-cache churn) #2695),单次短视图只失活不删除,block 载体完整包含在 trigger 自己的视图里——所以用 trigger 自身视图做纯探测即可恢复正确判决,不需要动失活机制。
    3. 影响范围与严重程度:触发条件 = codex 宿主会话存在活跃 fold,同一 session id 上短旁路请求之后、主历史恢复轮之前立即到达 compaction_trigger;此时超大原始请求被原样转发,导致上游兼容错误或意外大请求。p2:能用,特定时序下出明显问题。endpoint form /responses/compact 存在同样洞(primitive 同源),一并修掉。
    4. 怎么修复的:采用你建议的第二方向——无副作用的门控判决:codexCompactGatePre 增加可选 view 参数,用 syncBlocks(view, state) 纯探测判 block 活性(kernel 已公开该函数,深拷贝输入状态、零副作用);不移动 runPrepare(),非拦截路径保持 fix: detect codex compaction requests before preflight; verbatim passthrough when not intercepted (#332) #335 的字节级透传 + 零状态改动;view 不可解析时回退旧 stored-flag 逻辑(行为逐字节不变)。配套:未拦截 trigger 日志新增 [limit=… baseline=…(source) active=N/M@view|@stored inboundMsgs=N],这类事件以后从日志即可重建 gate 快照(前视图基数取紧邻的 processTurn: N msgs 行)。
    5. 是否有回归问题:逐项过既有行为——① limit>0 与 evidence-grade baseline<90% 两道墙不变(view 不放松它们,有测试行钉住);② 拦截路径 forged SSE 形状不变;③ 不传 view 走旧逻辑逐字节不变(单测覆盖);④ 非拦截路径保持字节级透传,且从「先跑 prepare 再 fall through」变为零状态改动(见下方披露);⑤ 本地定向 11 个测试文件 112 例全绿(codex-compact 单元/e2e、native-compact-terminal、compaction-trigger-finality、preflight-codex-headroom、proxy-noinject-tag-strip、issue1542-chain-embedded-strip、codex-local-compaction、issue3398-opaque-media-reserve、chain-checkpoint-step2/3),typecheck 干净,全量回归以 CI 为准。
    6. 是否破坏缓存:不涉及。不动消息身份、前缀缓存或任何缓存键;探测不写会话。
    7. 是否改了设计方向:没有。「先 gate 后 prepare」的顺序与 syncBlocks 失活语义都不变,只是让 gate 读对时间片。不选「隔离短请求失活」的理由:那只堵一个 producer,「用旧快照判决」的缺陷仍在,未来任何新形态短视图都会复发(疏堵检验不过)。
    8. 是否引入了新的配置:无。

    行为变更披露(old→new):stored 态 active 但自身视图不含 fold 的 stale-active trigger,以前会先被 prepare 改状态再原样转发,现在零状态改动直接转发——对外转发结果不变,内部副作用移除(对齐 #335 约束)。

    范围外说明:2 条消息的旁路请求为何进入主会话,属 #398 的路由隔离域(不同症状不同机制),本 PR 不处理,已在 PR 正文注明。

    收工判定:机制复现成立(两个新 e2e case 修复前红、修复后绿),修复在判决点闭环,等 CI 绿即可合并。

  4. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)

    CI 进展说明(PR #4040):

    1. 今天所有 PR 上那个「CI gate」红叉是已知问题,已修:ci-gate-plugins.yml(manual-only 工作流)里 step 级 secrets 引用导致每次 push 产生一个零 job 的空跑并立即判失败——即 "Gate Plugins" manual workflow produces zero job failure records on every push (including master), suspected to be platf | 「Gate Plugins」手动工作流在每次 push 上产生零 job 失败记录(含 master),疑似平台侧噪音 #3967,master 上已由 [PR] fix(ci): gate-plugins ghost red run — step-level secrets-if corrupts workflow registration, switch to GITHUB_ENV gating | fix(ci): gate-plugins 幽灵红 run — step 级 secrets-if 让 workflow 注册损坏,改 GITHUB_ENV 门控(#3967) #4017(commit be1e4cd,GITHUB_ENV gate 替代 step-level secrets-if)修复并于今日合入。我的分支切在修复之前所以被波及;不另立 issue(会与 "Gate Plugins" manual workflow produces zero job failure records on every push (including master), suspected to be platf | 「Gate Plugins」手动工作流在每次 push 上产生零 job 失败记录(含 master),疑似平台侧噪音 #3967 重复)。

    2. 分支已 rebase 到最新 master(bc4a3f87e):期间 master 前进了约 200 个提交(MySQL 存储后端、verif 符号执行模块、[Pi] Codex-compatible User-Agent activates Codex-only compaction policy despite explicit native host identity #3686 host policy 等)。冲突只有一处文本级:src/server/prepare-responses.ts 的 compact gate——master 因 [Pi] Codex-compatible User-Agent activates Codex-only compaction policy despite explicit native host identity #3686 把谓词从 isCodexClient 换成 isCodexHost,与我的 view-probe 改动同段,按两者意图合并(保留 isCodexHost + view-aware 判定)。rebase 后本地重验:typecheck 干净;codex-compact 单元+e2e 40/40 绿(含两个 [Suspected][Codex] After the short view deactivates blocks, the immediately following compaction trigger may be erroneou | [Suspected][Codex] 短视图失活 blocks 后,紧接着的 compaction trigger 可能被 gate 误放行 #4036 回归钉);相邻 trigger/responses 套件 46/46 绿。

    3. 新 head 52c032711,CI 正在跑:这次 synchronize 事件正常触发了全套 pull_request runs(含主 CI),此前手动补偿触发的旧 sha 运行已取消。全量结果预计约半小时后出;绿即可合并,红了我会定向排查后跟进。

  5. added 2 commits that reference this issue on Oct 20, 2026
  6. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)

    CI 结论:我的 diff 已排除,PR #4040 的红是 master 既有的测试基建问题——已立 #4051。

    证据链(为什么不是我的改动)

    1. master 自己就红:master 的 push 运行(run 39460567882,16:47Z,不含任何在途分支 diff)与我分支上的失败是同一签名——两条 #3769 回归测试断言失败。
    2. rerun 复现:对失败分片 rerun 后仍在不同分片复现(ubuntu-22 s1/s2),签名不变:
      • bare-id loadSync hydrates a pooled envelope when the unified index misses (#3769 flake) — tests/issue3769-pooled-bare-load.test.ts:115,'bare-id loadSync hydrates the pooled envelope without the index' expected true actual undefined;
      • upgraded pre-fold-gate state keeps rotation-hidden orphans hidden end-to-end (#3769) — tests/issue3769-upgrade-compat.test.ts:179,'record hydrates before the upgrade turn' 同型断言失败。
    3. 本地同 tree 通过:这两个文件我本地直跑 = 2/2 绿;我改动的路径(codex gate)相关定向套件本地全绿、CI 各分片中零失败。
    4. 时间线坐实范围:这两条测试今天才合入 master(fe2c46e5c / 765abe3),此后 ci.yml 无一全绿(17:24Z 以来 27 次运行全红/取消,多个无关分支同红)——是仓库级红风暴,不是单 PR 问题。

    处置

    PR #4040 当前状态

  7. ranxianglei commented on Oct 24, 2026

    @ranxianglei
    Owner

    (ai: zhipuai-lb/glm-5.3)

    孤儿 issue 清理:修复已由已合并 PR #4085 落地(含今日五列合并列车),但本 issue 未随之关闭。现补关;若该修复仍有残留问题请 reopen 并描述复现。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions