Repository navigation
Description
Model: glm-5.3
REQ: codex 压缩预算协调 + 匿名代理模式的拦截伪造(根本解决方案)
关联:#316(codex 子代理隔离 + 匿名尾窗重挂,PR-A/B 不受本 issue 影响)、#292(双代理泄露的预算错位根源)、#249(远程压缩语义重基的原始报告,其响应观察者设计被本方案采纳为 PR-C)。
依据:openai/codex 开源源码(codex-rs)逐行核验,结论在下。
背景:为什么 codex 会触发原生压缩(源码级定案)
- 账本(
core/src/context_manager/history.rs:431):get_total_token_usage() = 上一轮服务器上报的 usage.total_tokens + 上次模型输出后本地新增条目的估算。基数每轮被响应流的 usage 刷新 —— 这个数在 bili 手里。 - 阈值(
core/src/session/context_window.rs):auto_compact_token_limit(模型表默认 = 窗口×90%)+ 硬顶resolved_context_window×90%,可用model_context_window/model_auto_compact_token_limit配置覆盖(config/src/config_toml.rs:165-168)。与 bili 的预算零协调 —— 两套系统各自为政,这是根本矛盾。 - 远程 vs 本地(
model-provider/src/provider.rs:354):远程压缩 V2 仅当provider.name == "OpenAI"(精确字符串,不看 URL)或 azure-responses provider,且 featureremote_compaction_v2(Stable,默认开)。自定义 provider 名(如 launcher 注入的 bili-comfly)→ Unsupported → 只走本地压缩(经典"总结对话"普通请求)。 - 本地压缩对 bili 良性:codex 自行换历史 = 同 session-id 大截断 → kernel 按消息 id 优雅失活(feat: anonymous prefix-affinity session resolution (#309) #311 实验已证)→ 自愈,无假重基问题。
- claude 登录版本上下文涨,压缩后泄露 #292 的成因:内层窗口 1M 不压缩 → 服务器上报 usage 真实增长 → codex 账本越过其模型表上限(~244k)→ 触发。若 bili 窗口 ≤ codex 认知窗口,ACP(55% 起压)永远先于 codex(90%)触发,codex 不会压缩。
推论:远程压缩 bug 类只影响「provider 名精确为 OpenAI」的用户 = 匿名 MITM(HTTPS_PROXY → api.openai.com)+ 真 OpenAI 账号人群。launcher 用户(自定义 provider 名)天然不触发。
需求(分层)
PR-D:launcher 预算协调(L1,改动最小)
bili codex launcher 已用 -c 注入 base_url —— 同机制追加:
-c model_context_window=<bili 有效窗口>
-c model_auto_compact_token_limit=<同值或 bili 压缩阈值>
值取自 bili 对该模型的窗口认知(配置/registry,单一事实来源)。效果:codex 预算与 bili 完全重合,ACP 常规压缩永远先行;ACP 失灵时 codex 在同一点兜底(此时是本地压缩,天然良性)。
PR-E:匿名代理模式(MITM)双机制
匿名用户无配置通道,bili 只能通过流量交互:
E1 —— 预算对齐(零流量手术):内置 codex 模型表快照(从 openai/codex 的 protocol/src/openai_models.rs 生成 JSON,构建时快照,同 registry-snapshot 模式)。当请求客户端是 codex(originator/version 头)且模型在表内时,bili 有效窗口 = min(bili 配置, codex 认知)。边界:模型不在 codex 表内 → codex 无认知 → 永不自动压缩,无需处理。
E2 —— 条件拦截伪造(用户拍板方向):MITM 模式下识别 trigger 末项(compaction_trigger)与 /responses/compact 端点请求,拦截不转发,伪造成功响应:新历史 = ACP 摘要 + 近期条目(消息 id 由 bili 生成)→ codex 账本归零、换上 bili 摘要 → 下一请求精确匹配 ACP 状态 → 确定性交接,markNativeCompactionBoundary/边界检测/reconcile 启发式对 codex 全部退役。
- 条件拦截(安全阀):仅当 ACP 状态健康(近期压缩成功、稳态在阈值下)才拦截伪造;ACP 失灵时放行原生压缩兜底(此时它配 PR-C 语义门正确重基)。健康时 bili 独裁,失灵时退位让原生兜底。
- kill-switch:
BILI_CODEX_COMPACT=intercept|pass,默认pass,伪造器经真机校验后再切默认。 - 伪造 contract:以 codex 开源源码的响应解析器为准(下一步提取:
core/src/compact_remote_v2.rs+codex-api/src/endpoint/compact.rs),必需字段/校验严格度/新历史构建方式。本地 dump 无成功样本(raw RES 只存响应头),源码是唯一权威。
PR-C(并入或独立):语义重基门(#249 的响应观察者设计)
采纳 #249 的 pipeThrough 旁路观察者:SSE 终态表 response.completed→completed,response.failed/incomplete/error→failed,截断/超限→unknown(安全默认);仅 completed 才 markNativeCompactionBoundary;两调用点(server.ts:2129/:2165)+ 204 空体特判。同时 trigger 路径 hardening:compressInjected=false + 跳压缩系统提示 + renderTags:"none"。作为 E2 放行路径与所有非 codex Responses 客户端的正确性保障。
观察项
- codex 新压缩系统
Feature::TokenBudget(featurescrate,Stage::UnderDevelopment,默认关):架构改为"compaction 即 reset 请求、强制新窗口"。默认打开时会重演本轮分析,跟踪其 stage 变化。
验收标准
- PR-D:launcher 启动的 codex 账本阈值与 bili 窗口一致(
/context或日志验证);模型表/registry 取值链路有单测 - PR-E1:codex 模型表快照生成脚本 + 构建集成;min() 对齐逻辑单测(表内/表外/用户覆盖窗口)
- PR-E2:伪造响应通过 codex 真机校验(本地 sglang responses 端点 + codex 自定义 provider 即可测,无需账号);kill-switch 两态单测;ACP 失灵放行路径 e2e
- PR-C:failed/incomplete/空体/截断四类不重基;completed 正常重基;三协议回归不变
- 全部:typecheck + 全量测试 + build;分支
2026-08-28_*;PR 开头标 Model;发现新问题按 AGENTS.md「Issue Work — Required Deliverables」上报
参考
- codex 源码核验记录(本机 /tmp/codex-src,浅克隆 openai/codex):history.rs:431 / context_window.rs / turn.rs:1045,1199 / provider.rs:354 / model-provider-info lib.rs:467 / config_toml.rs:165
- REQ: codex subagent isolation via turn-metadata partition + anonymous tail-window reattach (PR #249 follow-up) #316(PR-A/B:子代理隔离 + 尾窗重挂)、claude 登录版本上下文涨,压缩后泄露 #292、Fix Codex Responses session continuity #249、Codex 集成:guardian 审批请求进入压缩管线,导致明确授权无法被识别 #150
- 本地测试环境:pi models.json 已有
sglang-responsesprovider(http://127.0.0.1:8199/v1,qwen3.8-27b,窗口 262144),codex 加同名自定义 provider(wire_api="responses")即可零账号全链路测试
Activity
ranxianglei commentedon Aug 28, 2026
[bot] 收到 #320。开工计划(Model: qwen3.8-27b):
-c注入键名。BILI_CODEX_COMPACT默认pass。2026-08-28_*)。有进展会在此更新。
ranxianglei commentedon Aug 28, 2026
[bot] Model: qwen3.8-27b
PR-C/D/E 全部实现完毕 → **PR: https://github.com/ranxianglei/billion-context/pull/326**(分支
2026-08-28_codex-compact-coordination,9 文件 +1018/−35)PR-D(launcher 预算协调):
bili codex注入-c model_context_window=<N>+-c model_auto_compact_token_limit=<N>(同值——codex 内部会把 compact limit 钳到 min(configured, 90%×窗口),所以 ACP 永远先行)。N 走与 server 完全相同的取值链resolveStaticWindow(launcher 窗口 > registry peek > 路由配置 > 模型表,单一事实来源),再对 codex 自家模型表取 min(绝不告诉 codex 比它认知更大的窗口)。日志:[bili] codex budget: model=... window=... (source=...)。PR-E1(匿名模式窗口钳制):内置 codex 模型表快照(
src/codex-models-snapshot.json,10 模型,npm run codex:snapshot从 openai/codexmodels-manager/models.json刷新,同 registry-snapshot 模式)。client 带x-codex-turn-metadata头且模型在表内 → 有效窗口 = min(bili 窗口, codex 表)(applyCodexWindowClamp);表外模型 codex 无认知 → 不处理。PR-C(语义重基门):边界标记只在确认成功时发生——SSE 观察终态(
response.completed→标记;failed/incomplete→不标记;无终态截断→unknown 不标记)、非 SSE JSON 缓冲解析(2xx+可解析→标记)、空体 2xx 不再标记(原"任意 2xx 都标记"即 #249 bug)。trigger 末项请求走只读投影:无 kernel 状态变更、无压缩提示/工具、无 nudge、无 preflight。PR-E2(条件拦截伪造):kill-switch
BILI_CODEX_COMPACT=intercept,默认pass。开关开 + codex client + 压缩请求(trigger 末项或/responses/compact)+ ACP 健康(稳态低于阈值且存在压缩状态)→ 本地应答不转发:V2 = SSE 恰好一个compaction项 +response.completed;V1 = JSON{output:[compaction]}(contract 已对照 codexcollect_compaction_output/ResponseCompleted解析器核验)。ACP 摘要按伪造 item id 记录(有界 map),下一请求以 developer 消息重放——确定性交接。ACP 失灵/非 codex/开关关 → 放行原生压缩,由 PR-C 正确门控重基。验收:全量测试 763/763(新增
tests/codex-compact-coordination.test.ts23 个:kill-switch 两态、V2/V1 伪造、失灵/超限/非 codex 放行、PR-C 五类终态、E1 钳制 vs 对照);typecheck + build 干净。两点说明:
pass。t.after+closeAllConnections的清理模式会与代理池化上游连接死锁,新 e2e 改用测试体内关闭(先 proxy 后 upstream)——codex-official.test.ts 的既有模式。