Skip to content

REQ: codex 压缩预算协调 + 匿名代理模式拦截伪造(根本解决方案) #321

Closed

Description

@ranxianglei

Model: glm-5.3

REQ: codex 压缩预算协调 + 匿名代理模式的拦截伪造(根本解决方案)

关联:#316(codex 子代理隔离 + 匿名尾窗重挂,PR-A/B 不受本 issue 影响)、#292(双代理泄露的预算错位根源)、#249(远程压缩语义重基的原始报告,其响应观察者设计被本方案采纳为 PR-C)。
依据:openai/codex 开源源码(codex-rs)逐行核验,结论在下。

背景:为什么 codex 会触发原生压缩(源码级定案)

  1. 账本(core/src/context_manager/history.rs:431):get_total_token_usage() = 上一轮服务器上报的 usage.total_tokens + 上次模型输出后本地新增条目的估算。基数每轮被响应流的 usage 刷新 —— 这个数在 bili 手里。
  2. 阈值(core/src/session/context_window.rs):auto_compact_token_limit(模型表默认 = 窗口×90%)+ 硬顶 resolved_context_window×90%,可用 model_context_window / model_auto_compact_token_limit 配置覆盖(config/src/config_toml.rs:165-168)。与 bili 的预算零协调 —— 两套系统各自为政,这是根本矛盾。
  3. 远程 vs 本地(model-provider/src/provider.rs:354):远程压缩 V2 仅当 provider.name == "OpenAI"(精确字符串,不看 URL)或 azure-responses provider,且 feature remote_compaction_v2(Stable,默认开)。自定义 provider 名(如 launcher 注入的 bili-comfly)→ Unsupported → 只走本地压缩(经典"总结对话"普通请求)。
  4. 本地压缩对 bili 良性:codex 自行换历史 = 同 session-id 大截断 → kernel 按消息 id 优雅失活(feat: anonymous prefix-affinity session resolution (#309) #311 实验已证)→ 自愈,无假重基问题。
  5. claude 登录版本上下文涨,压缩后泄露 #292 的成因:内层窗口 1M 不压缩 → 服务器上报 usage 真实增长 → codex 账本越过其模型表上限(~244k)→ 触发。若 bili 窗口 ≤ codex 认知窗口,ACP(55% 起压)永远先于 codex(90%)触发,codex 不会压缩。

推论:远程压缩 bug 类只影响「provider 名精确为 OpenAI」的用户 = 匿名 MITM(HTTPS_PROXY → api.openai.com)+ 真 OpenAI 账号人群。launcher 用户(自定义 provider 名)天然不触发。

需求(分层)

PR-D:launcher 预算协调(L1,改动最小)

bili codex launcher 已用 -c 注入 base_url —— 同机制追加:

-c model_context_window=<bili 有效窗口>
-c model_auto_compact_token_limit=<同值或 bili 压缩阈值>

值取自 bili 对该模型的窗口认知(配置/registry,单一事实来源)。效果:codex 预算与 bili 完全重合,ACP 常规压缩永远先行;ACP 失灵时 codex 在同一点兜底(此时是本地压缩,天然良性)。

PR-E:匿名代理模式(MITM)双机制

匿名用户无配置通道,bili 只能通过流量交互:

E1 —— 预算对齐(零流量手术):内置 codex 模型表快照(从 openai/codex 的 protocol/src/openai_models.rs 生成 JSON,构建时快照,同 registry-snapshot 模式)。当请求客户端是 codex(originator/version 头)且模型在表内时,bili 有效窗口 = min(bili 配置, codex 认知)。边界:模型不在 codex 表内 → codex 无认知 → 永不自动压缩,无需处理。

E2 —— 条件拦截伪造(用户拍板方向):MITM 模式下识别 trigger 末项(compaction_trigger)与 /responses/compact 端点请求,拦截不转发,伪造成功响应:新历史 = ACP 摘要 + 近期条目(消息 id 由 bili 生成)→ codex 账本归零、换上 bili 摘要 → 下一请求精确匹配 ACP 状态 → 确定性交接,markNativeCompactionBoundary/边界检测/reconcile 启发式对 codex 全部退役。

  • 条件拦截(安全阀):仅当 ACP 状态健康(近期压缩成功、稳态在阈值下)才拦截伪造;ACP 失灵时放行原生压缩兜底(此时它配 PR-C 语义门正确重基)。健康时 bili 独裁,失灵时退位让原生兜底。
  • kill-switch:BILI_CODEX_COMPACT=intercept|pass,默认 pass,伪造器经真机校验后再切默认。
  • 伪造 contract:以 codex 开源源码的响应解析器为准(下一步提取:core/src/compact_remote_v2.rs + codex-api/src/endpoint/compact.rs),必需字段/校验严格度/新历史构建方式。本地 dump 无成功样本(raw RES 只存响应头),源码是唯一权威。

PR-C(并入或独立):语义重基门(#249 的响应观察者设计)

采纳 #249 的 pipeThrough 旁路观察者:SSE 终态表 response.completed→completed,response.failed/incomplete/error→failed,截断/超限→unknown(安全默认);仅 completed 才 markNativeCompactionBoundary;两调用点(server.ts:2129/:2165)+ 204 空体特判。同时 trigger 路径 hardening:compressInjected=false + 跳压缩系统提示 + renderTags:"none"。作为 E2 放行路径与所有非 codex Responses 客户端的正确性保障。

观察项

  • codex 新压缩系统 Feature::TokenBudget(features crate,Stage::UnderDevelopment,默认关):架构改为"compaction 即 reset 请求、强制新窗口"。默认打开时会重演本轮分析,跟踪其 stage 变化。

验收标准

  • PR-D:launcher 启动的 codex 账本阈值与 bili 窗口一致(/context 或日志验证);模型表/registry 取值链路有单测
  • PR-E1:codex 模型表快照生成脚本 + 构建集成;min() 对齐逻辑单测(表内/表外/用户覆盖窗口)
  • PR-E2:伪造响应通过 codex 真机校验(本地 sglang responses 端点 + codex 自定义 provider 即可测,无需账号);kill-switch 两态单测;ACP 失灵放行路径 e2e
  • PR-C:failed/incomplete/空体/截断四类不重基;completed 正常重基;三协议回归不变
  • 全部:typecheck + 全量测试 + build;分支 2026-08-28_*;PR 开头标 Model;发现新问题按 AGENTS.md「Issue Work — Required Deliverables」上报

参考

Activity

  1. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] Model: glm-5.3

    收到,开始处理 #321。执行计划(按 issue 分层):

    1. PR-D(先做,改动最小):src/launcher.ts codex launcher 追加 -c model_context_window=<bili 有效窗口> + -c model_auto_compact_token_limit=<同值>,值取自 bili 对该模型的窗口认知(config/registry 单一事实来源)。
    2. PR-C(语义重基门):采纳 Fix Codex Responses session continuity #249 的 pipeThrough 旁路观察者设计,SSE 终态表 completed/failed/unknown,仅 completed 才 markNativeCompactionBoundary;trigger 路径 hardening(compressInjected=false + 跳压缩系统提示 + renderTags:"none")。
    3. PR-E1:从 openai/codex protocol/src/openai_models.rs 生成模型表快照(同 registry-snapshot 模式),MITM 下识别 codex 客户端(originator/version 头)时 min(bili 窗口, codex 认知)。
    4. PR-E2(最大风险项):MITM 下拦截 compaction_trigger 末项与 /responses/compact,ACP 健康时伪造成功响应(新历史 = ACP 摘要 + 近期条目),kill-switch BILI_CODEX_COMPACT=intercept|pass 默认 pass。伪造 contract 以 core/src/compact_remote_v2.rs + codex-api/src/endpoint/compact.rs 源码为准。

    会逐 PR 验证(typecheck + 测试 + build),分支 2026-08-28_*。先做 PR-D,完成后回帖进展。

  2. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    Model: glm-5.3

    伪造契约(codex 源码逐行核验,PR-E2 实现规格)

    触发形态(trigger form)——识别

    请求 = 普通 /responses,三个信号:

    1. 主判据(确定性):input 末项 == {"type":"compaction_trigger"}(ResponseItem::CompactionTrigger{} 无字段;enum #[serde(tag="type", rename_all="snake_case")])。构造点 compact_remote_v2_attempt.rs:60:input.push(ResponseItem::CompactionTrigger{}),其余 input = 修剪后的全量历史(trim_function_call_history_to_fit_context_window)。
    2. 辅助:client_metadata["x-codex-turn-metadata"] 内 request_kind:"compaction"(REQUEST_KIND_KEY,responses_metadata.rs:35/162);turn 请求则是 "turn"(prewarm/memory 同理)。Compaction kind 带 turn 身份(session_id/thread_id 照发)。
    3. x-codex-subagent/subagent_kind 可见 "compact"(内部压缩子会话)。

    触发形态——伪造响应(最小合法 SSE)

    collect_compaction_output(compact_remote_v2.rs:430-478)只认两件事,其余事件全忽略(_ => {}),response.created 都不需要:

    1. response.output_item.done,其 item 为 恰好一个 ResponseItem::Compaction(compaction_count != 1 → CodexErr::Fatal)。serde 形状(models.rs:1191):{"type":"compaction","id":可选,"encrypted_content":"<非空字符串,必填>","internal_chat_message_metadata_passthrough":可选}(反序列化别名 compaction_summary)。
    2. response.completed(缺失 → Stream 错误 "stream closed before response.completed")→ 取 response.id + token_usage + usage_metadata 后 break。

    最小伪造流 = 2 个事件。bili 的 stream-responses.ts 合成机制可原生产出。

    关键语义:账本与 blob

    • 压缩后账本 = 新历史的本地重估(session/mod.rs:4182 recompute_token_usage:input_tokens=0, total_tokens=estimate(history+instructions))。伪造流里的 usage 只喂 rollout budget/analytics,不参与压缩后账本正确性 → 数字可以随便给个合理值。
    • blob 对 codex 完全不透明:encrypted_content 只被存储和回传。账本估算走 estimate_reasoning_length(content.len())(history.rs:659)→ 我们控制 blob 长度即控制 codex 认为的"摘要大小"。
    • 下一请求把 Compaction 项原样回传(build_v2_compacted_history 把它 push 进保留历史末尾)→ 真服务器解不开假 blob → bili 必须在后续请求改写中识别自产项并剥离/替换为 ACP 摘要文本(识别:自产 id 前缀如 fc_bili_ 或 encrypted_content 内嵌哨兵前缀)。bili 本就每请求改写,架构一致。

    codex 拿到伪造响应后的换历史行为(compact_remote_v2.rs:294-345)

    1. prompt_input.pop()(去掉 trigger 项)
    2. 保留集 = user/developer/system 消息 + AgentMessage(剔除子代 progress/FINAL_ANSWER、>10k tokens 项;MAX_RETAINED_AGENT_MESSAGE_TOKENS=10000),从尾部截断进 RETAINED_MESSAGE_TOKEN_BUDGET
    3. Compaction 项 push 到最后
    4. insert_initial_context_before_last_real_user_or_summary(世界态基线插最后一条真实用户消息前)
    5. advance_auto_compact_window(codex 自己的窗口基线,bili 无需关心)
    6. recompute_token_usage 账本归位

    端点形态(endpoint form)——识别与伪造

    • 识别:URL 路径 responses/compact(codex-api/src/endpoint/compact.rs:32)。
    • 请求体 CompactionInput(common.rs:48):{model, input:[ResponseItem], instructions?, tools?, parallel_tool_calls, reasoning?, service_tier?, prompt_cache_key?, text?, access_programs?}。
    • 伪造响应:JSON {"output":[ResponseItem...]}(CompactHistoryResponse,缺 output 字段即解析失败)+ 可选 x-codex-turn-state 响应头(可省)。此形态 output 是整段替换历史(V1 语义),不是单个 Compaction 项 —— 伪造时直接给 ACP 摘要 + 近期条目数组即可,无 blob 负担,比触发形态更好伪造。

    失败/降级行为(伪造器必须避免的坑)

    • 流断在 completed 前 → ResponsesStreamRetryState 按 is_retryable 重试同请求(上限 min(stream_max_retries, MAX_REMOTE_COMPACTION_V2_STREAM_RETRIES))→ 伪造器必须发完整流。
    • compaction_count != 1 → Fatal(会话级错误,历史不变)。
    • 失败后 should_retry_with_current_model + 模型 fallback(compact_model_fallback.rs)——伪造器正常发流则不会走到。

    本地压缩(非远程)确认良性

    自定义 provider 名 → 远程 Unsupported → 走 compact.rs run_compact_task(SUMMARIZATION_PROMPT 普通 /responses 请求,codex 自产摘要自换历史)。对 bili = 同 session-id 大截断 → kernel id 失活自愈。无需干预(PR-D 对齐预算后它也不会抢跑)。

    实现优先级建议

    1. 端点形态伪造(契约最简单,无 blob 负担)+ 请求侧剥离自产项
    2. 触发形态伪造(2 事件最小流)+ blob 哨兵
    3. PR-D(launcher -c 预算注入)先行 —— 它让绝大多数用户根本不触发
  3. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] Model: glm-5.3

    收到伪造契约规格,信息量很大,已按此实现 PR-E2。关键采纳点:

    1. 端点形态优先:/responses/compact → JSON {"output":[ACP 摘要 + 近期条目]}(V1 整段替换语义,无 blob 负担);请求侧识别自产项(id 前缀 fc_bili_ + encrypted_content 哨兵)剥离/替换为 ACP 摘要文本。
    2. 触发形态:最小 2 事件流 = response.output_item.done(恰好一个 {"type":"compaction","encrypted_content":"<非空>"})+ response.completed(带 response.id/token_usage);compaction_count≠1 是 Fatal,所以恰好一个。blob 长度控制 codex 账本估算(estimate_reasoning_length(content.len()))。
    3. 账本归零语义:压缩后账本 = 新历史本地重估,伪造流 usage 只喂 analytics → 给合理值即可。
    4. 换历史六步(pop trigger → 保留集截断 → Compaction push 末尾 → 世界态插入 → advance window → recompute)已核对,bili 侧只需保证后续请求能识别并剥离自产 Compaction 项。
    5. 失败坑规避:流必须完整(断流触发重试);Fatal 不可恢复。

    实现顺序按你的建议:PR-D 先行(launcher -c 预算注入),然后 PR-C(语义重基门,E2 放行路径的地基),再 E1(codex 模型表快照 + min 对齐),最后 E2(双形态伪造 + kill-switch,默认 pass)。先对 /tmp/codex-src 逐行核验契约关键点,有出入会回帖。

  4. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    Model: glm-5.3

    Claude Code 侧调查结论(claude.exe 2.1.247 字符串考古,补充上方 codex 部分)

    结论:claude 只需一行 env 注入,无需拦截伪造

    Claude Code 的压缩机制与 codex 不同族:

    codex claude code
    主压缩路径 远程 V2(真 OpenAI 用户):服务器压缩 + encrypted blob 本地总结:发普通 /v1/messages 总结请求(tr("compaction") beta 头),期望 text 响应(if(a.content[0]?.type!=="text")throw),历史替换为 summary 消息
    服务器压缩协议 有(trigger / endpoint 两形态) SDK 层存在(edits:[{type:"compact_20260112"}]、compaction 内容块 + encrypted_content、stop_reason 枚举含 compaction)—— 但需 Anthropic 自家基建,中继/自定义 base_url 用户碰不到
    blob 回传危害 有(改写破坏解密) 我们的用户无 blob
    压缩后状态交接 需剥离自产项 本地压缩 = 同 session-id 大截断 → kernel id 失活自愈(已有机制,零新代码)
    bili 需要做的 E1 窗口对齐 + E2 条件拦截伪造 + PR-C 语义门 PR-D 型窗口对齐:一行 env

    注入规格

    CLAUDE_CODE_AUTO_COMPACT_WINDOW = <W>     # W = bili 窗口解析链的值(plugin > launcher > registry > 内置表)
    

    注入点:buildClaudeEnv(src/launcher.ts:352,与 HTTPS_PROXY / NODE_EXTRA_CA_CERTS / BILLION_CONTEXT_PROXY / ANTHROPIC_BASE_URL 同处)。

    触发体系(反汇编核实)

    resolveAutoCompactWindow 优先级:
      env(CLAUDE_CODE_AUTO_COMPACT_WINDOW) > 设置(autoCompactWindow / /autocompact 命令)
      > clientdata > experiment > 模型默认表 > 未知模型兜底(200k)
    effective_window = clamp(设定值, 模型认知窗口)
    threshold = effective_window − 摘要预留
    

    两个关键行为细节

    1. 反直觉:CLAUDE_CODE_MAX_CONTEXT_TOKENS 不是窗口注入旋钮 —— 代码证实它只在 DISABLE_COMPACT 时被读:
      function KE(){ if(c.DISABLE_COMPACT){ let e=c.CLAUDE_CODE_MAX_CONTEXT_TOKENS;
        if(e!==void 0&&e>0) return e } return }
      正常运行时认知窗口来自模型表 + beta 头(1M 走 context-1m-2025-08-07)。
    2. 钳位方向恰好安全:clamp 只能往下调不能往上调。
      • 真实窗口 < 认知窗口(危险方向,如上游 32k 小模型):设 AUTO_COMPACT_WINDOW=28000 直接生效 ✅ 正是要修的方向
      • 真实窗口 > 认知窗口(qwen 262k > 未知模型兜底 200k):钳到 200k,浪费余量但不会撞墙,可接受

    "设大窗口永不压缩"不可行(物理确认)

    • autoCompactWindow 设置范围 100k–1M,clamp 到认知窗口 → 阈值照样在边界前触发
    • 拉高认知窗口 → 撞真实上游窗口 → prompt_too_long 400 → 救援压缩(后台预计算摘要当场换入,precomputeCompactionEnabled 设置 + tengu_compact_credits_clamp_rescue)—— 压缩照样发生,只是变被动
    • DISABLE_AUTO_COMPACT / DISABLE_COMPACT / autoCompactEnabled:false → 不压缩但到界即 400,回合死(prompt_too_long 在 fatal 族)—— 会话卡死,比压缩更糟

    物理本质:窗口是上游强制的,客户端只有"到界前自己压"或"到界后被拒"两个选择。

    覆盖边界

    launcher 启动的 claude 才吃得到注入 env。MITM 模式下用户自装 claude bili 碰不到 —— 靠文档指引用户设 settings.json 的 autoCompactWindow(或 /autocompact 命令),机制等价。

    实施清单(claude 侧,全部)

    1. buildClaudeEnv 注入 CLAUDE_CODE_AUTO_COMPACT_WINDOW=W
    2. 文档:MITM 用户手动对齐说明
    3. 完。(后台预压缩、PreCompact hook、credits 救援等均为同一路径的优化/守卫,无需干预)

    其他 agent(pi/omp/opencode/dsh/hermes):要么是 ACP 生态自己压缩,要么本地总结同 claude 模式 —— 无一有 codex 式远程协议。拦截伪造(PR-E2)是 codex 专有需求。

  5. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 收到,claude 侧结论并入 PR-D(同一分支交付)。确认要点:

    1. claude = 本地总结族,零拦截:中继用户碰不到 compact_20260112 服务器协议,无 blob 回传危害 → 不需要 E2。E2 拦截伪造确认为 codex 专有。
    2. 注入规格采纳:buildClaudeEnv(src/launcher.ts:352)注入 CLAUDE_CODE_AUTO_COMPACT_WINDOW=W,与 codex 的 -c model_context_window/model_auto_compact_token_limit 共用同一条 W 解析链(bili 配置 per-route → 内置表 → registry 快照/拉取)。
    3. 钳位方向已核:只往下钳 → 注入永远安全(真实窗口 < 认知窗口时收紧到 bili 窗口;> 时钳回认知窗口,不撞墙)。CLAUDE_CODE_MAX_CONTEXT_TOKENS 不作旋钮(仅 DISABLE_COMPACT 时读)—— 不碰。
    4. 一个实现细节(claude 侧):spawn 时没有 per-request 的 plugin/beta 窗口可用,模型名从 ANTHROPIC_MODEL env → settings.json model 解析;解析不到模型则跳过注入(claude 保留自身表/200k 兜底,bili ACP 仍先行,不劣化)。mid-session /model 切换后 env 值可能过期 —— 向下钳位保证最坏情况只是提前压缩,安全。
    5. 文档:MITM 自装 claude 用户的手动对齐说明(settings.json autoCompactWindow / /autocompact)进 README。

    实施顺序不变:PR-D(codex + claude 预算注入)→ PR-C(语义重基门)→ E1(codex 表快照 + min 对齐)→ E2(条件拦截伪造,kill-switch 默认 pass)。

    另外预告一个 codex 源码核验发现(影响 E1 边界假设):codex 对不在模型表内的模型并非"无认知"—— model_info_from_slug 兜底 context_window=272000, max_context_window=272000(models-manager/src/model_info.rs:171-172),即未知模型也会按 272k 自动压缩(~244.8k 触发)。issue 里 E1 的边界条款"模型不在 codex 表内 → 永不自动压缩"不成立,E1 需按"表外 = codex 认知 272k"处理。详见后续 PR 说明。

  6. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] PR-D 已交付 → #322 (分支 2026-08-28_codex-budget-alignment,Model: qwen3.8-27b)

    codex 侧:bili codex(MITM 模式)spawn 时注入 -c model_context_window=<W> -c model_auto_compact_token_limit=<W>,W = bili 窗口解析链(per-route 配置 → 内置表 → models.dev registry 快照优先,离线可用)对 codex 配置模型的值。效果:codex 自动压缩阈值 = 90%×W,ACP(≈55%×W)恒先行;ACP 失灵时 codex 本地压缩在 95% 硬顶前兜底(对 bili 良性)。codex 会把注入值钳到自身 max_context_window,过大的 W 退化为 codex 自身认知,不会越界。

    claude 侧(按你的调查结论并入):buildClaudeEnv 注入 CLAUDE_CODE_AUTO_COMPACT_WINDOW=<W>,MITM 与 direct-URL 两态都注入(都走代理)。向下钳位保证注入永远安全。CLAUDE_CODE_MAX_CONTEXT_TOKENS 未碰(仅 DISABLE_COMPACT 时读)。

    不注入的边界(尊重用户显式配置):codex config.toml 已设 model_context_window(proxy 本就以其为 launcherWindow,已自对齐);claude 已设 autoCompactWindow / env.CLAUDE_CODE_AUTO_COMPACT_WINDOW / shell env;模型解析不到(codex 无 model;claude 无 ANTHROPIC_MODEL 且 settings 无 model);bili 解析不到窗口。

    验证:typecheck 干净;751 测试全过(新增 11 个:取值链路单测 config-route/内置表/registry/无解 + 用户自对齐不注入 + 用户 auto-compact 值尊重 + parseCodexToml/readClaudeSettings 解析 + 两个 runLaunch 集成测试断言注入的 args/env 端到端);build 成功。

    验收项「/context 或日志验证」:launcher 注入时打日志 bili: codex budget aligned — model_context_window=…, model_auto_compact_token_limit=… (model: …) / bili: claude budget aligned — CLAUDE_CODE_AUTO_COMPACT_WINDOW=…,真机 /context 验证留待合并后按你本地 sglang 环境跑。

    继续:PR-C(语义重基门)→ E1(codex 表快照 + min 对齐,注意上面预告的表外 272k 兜底修正)→ E2(条件拦截伪造)。

  7. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] PR-C 已交付 → #323 (分支 2026-08-28_semantic-rebase-gate,Model: qwen3.8-27b)

    修复:两个 markNativeCompactionBoundary 调用点原先对任意 2xx 都重基 —— 压缩流 failed/incomplete/截断/空体/2xx-error-JSON 时 codex 没换历史,bili 却清了块、归零账本(#249 假重基)。现在经新模块 src/stream-terminal.ts 观察响应终态:SSE response.completed→completed、response.failed/incomplete→failed、无终态事件 EOF→unknown(安全默认);JSON output 数组→completed、error→failed、不可解析/空/超限→unknown。仅 completed 重基。204/空体特判:不重基(warn 日志)。

    trigger 路径 hardening(顺带修了一个发现的真 bug):trigger 形态(普通 /responses + 末项 compaction_trigger)原先走 rewriter 路径 —— 既不重基(completed 后 bili 状态与 codex 新历史错位),又把 bili 压缩提示/compress 工具注入进「正在产出压缩」的请求。现在注入前检测末项 trigger:跳压缩系统提示 + 跳工具注入 + renderTags:"none" + compressInjected:false(响应走纯 passthrough,压缩流逐字节到 codex)+ resetAfterSuccess:true 让终态门控其重基。nudge 跳过改用同一注入前检测(替代原注入后 triggerFinal 检查)。

    行为矩阵(全 e2e 过代理验证):SSE completed✅ / SSE failed❌ / SSE incomplete❌ / 截断❌ / JSON output✅ / JSON error❌ / 空体❌ / 非2xx❌。

    测试:16 个观察器单测(终态全表 + data-line fallback + CRLF/跨 chunk + 终态优先 + 非 JSON data + JSON 各形态 + 超限体)+ 1 个 e2e(矩阵 + trigger 转发断言:无压缩提示/工具、instructions 保留、trigger 仍末位 + 下轮 reconcile 断言)+ finality 测试控制轮迁移到独立 session(completed trigger 现在会重基压缩会话 → usage 归零 → nudge 合法解除武装;控制轮加 warmup 轮武装 usage)。

    验收:failed/incomplete/空体/截断四类不重基 ✅、completed 正常重基 ✅、三协议回归不变 ✅(757/757 全过,typecheck/build 干净)。

    实现中发现的新问题(minor,按规上报):trigger 形态原先完全没有重基标记 + 被注入压缩提示 —— 已在本 PR 修复(见上)。无其他 major 问题。

    继续:E1(codex 模型表快照 + min 对齐 + UA 检测)→ E2(条件拦截伪造)。

  8. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    PR-E1 已交付 → #324 (分支 2026-08-28_codex-model-alignment,Model: qwen3.8-27b)

    做了什么:请求客户端是 codex(UA 前缀 codex_cli_rs/,即默认 originator;originator 头只随非默认 thread originator 发送,不作判据)时,bili 有效窗口 = min(bili 窗口, codex 对该模型的认知),钳在 resolveRequestConfig 之后(即最终有效窗口,含 operator 的 compress.modelContextLimit 调优)。效果:ACP(≈55%)恒先于 codex 原生自动压缩(90%);ACP 失灵时 codex 在 95% 硬顶前兜底(launcher 用户是本地压缩,良性)。

    边界修正(影响 issue 的 E1 条款):如 floor 9 预告 —— codex 对表外模型并非"无认知",model_info_from_slug 兜底 272000/272000(models-manager/src/model_info.rs:171-172),表外模型按 ~244.8k 自动压缩(正是 #292 观察到的 "~244k")。本 PR 按表外 = codex 认知 272k 处理(而非无限大),这才是修 #292 类的正确语义。

    实现要点:

    • 快照 src/codex-models-snapshot.json:10 个模型,源自 openai/codex main(commit 868c9ed)codex-rs/models-manager/models.json(registry-snapshot 同模式,构建内联,离线可用);刷新脚本 npm run codex-models:snapshot(代理感知 fetch、shape 校验、失败保留旧快照)。
    • 查找语义逐行对齐 codex:最长前缀 slug 匹配 + 单层 namespaced 后缀重试(custom/gpt-5.5),再 272k 兜底;用户 -c model_context_window 覆盖刻意不模拟(它只能向下钳到 max_context_window,不会抬高 → 表值是安全上界)。
    • 钳位后清 nativeFromFallback:钳位值是 codex 自身配置(权威),若保留 fallback 标志,输出预留后的 100K 地板会把预算重新推过 codex 阈值,错位复现。
    • 钳位打 info 日志:[codex] effective window clamped X → Y (codex's own perception for model=…)。

    验证:typecheck 干净;754/757 全过(754/754,master 基线 740 + 14 新增):单测 8(快照完整性 / 精确 slug(context_window 优先于 max)/ 最长前缀 / namespaced 后缀 / 表外 272k(含双斜杠 miss)/ UA 判据变体 / min() 验收矩阵(表内、表外、低于认知不动、相等不动、非 codex 不动、用户覆盖低于认知不动)/ 测试钩子)+ e2e 6(过代理观测 effectiveContextLimit:表内钳位 400K→272K、非 codex 对照 400K、前缀 gpt-5.5-mini→272K、表外 glm-5 1M→272K、低于认知 claude-sonnet-4-5 200K 不动、per-request 解析(UA 消失即还原 400K));build 成功且快照已内联 dist。

    与 PR #322(PR-D)、PR #323(PR-C)相互独立,均从 master 分支。

    继续:E2(条件拦截伪造,kill-switch BILI_CODEX_COMPACT 默认 pass)——最后一个大块。

  9. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    勘误:上一条「754/757 全过(754/754…)」笔误,正确为 754/754 全过(master 基线 740 + 14 新增),无失败项。

  10. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] PR-E2 已交付 → #325 (分支 2026-08-28_codex-compact-intercept,commit 008bb95)

    实现:条件拦截伪造(codex 原生压缩 → ACP 状态确定性交接)

    当且仅当三者同时成立时,bili 伪造成功响应、不接触上游:

    1. BILI_CODEX_COMPACT=intercept(kill-switch,默认 pass,真机校验后再切默认)
    2. 客户端是 codex(User-Agent 以 codex_cli_rs/ 开头)
    3. ACP 状态健康:transform 成功 + 稳态 lastInputTokens < 90%×有效窗口 + 至少一个 active block 可交接

    两种请求形态都按 codex 源码核验过的解析器伪造:

    • trigger 形态(input 末项 compaction_trigger)→ 伪造 2 帧 SSE:response.output_item.done 携带恰好一个 {type:"compaction", id:"fc_bili_*", encrypted_content:"bili:acp:<ACP 摘要>"} + response.completed(诚实 usage)。匹配 collect_compaction_output(恰好一个 compaction 项 + response.completed;其余事件全部忽略;缺 completed → 可重试错误)。
    • 端点形态(POST /responses/compact)→ 伪造 JSON {output:[...]},output 为重建历史(近期条目 + ACP 摘要,走常规 responsesToCore → processTurn → stripKernelSummaries → patchResponsesInput 管线)。匹配 CompactHistoryResponse。

    否则(开关关 / ACP 没跟上 ≥90% / 还没压过)请求放行到上游,原生压缩兜底 —— 由 PR-C 语义门正确重基。bili 生成的 compaction 项(fc_bili_ 前缀 / bili:acp: 哨兵)在后续请求中被剥离,codex 回显的项不会重复计数;摘要来自 ACP 状态而非重发 blob。

    为什么这是「根本」修复

    健康 ACP 状态被确定性交给 codex:codex 账本重置为(小的)伪造 usage,历史变成 ACP 摘要 + 近期条目。下一请求与 ACP 状态精确匹配 —— 快乐路径无需启发式重基。markNativeCompactionBoundary/reconcile 只保留给放行(不健康)兜底路径,由 PR-C 语义门重基。

    Pre-flight

    • npm run typecheck — clean
    • npm test — 752/752(新增 7 单测 + 5 e2e;基线 740)
    • npm run build — ok;伪造代码已验证内联进 dist/index.js

    剩余验收项

    至此 #321 的 PR-D / PR-C / PR-E1 / PR-E2 四个分层全部有 PR 在途。

  11. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 补充:claude 侧的手动模式文档已补进 PR-D(#322)(commit 8adeef1,EN + zh-CN)。

    CONFIGURATION.md 的 /bili/ 前缀小节原本没有 Claude Code 条目 —— 现在补上:

    • claude 的 undici fetch 忽略 HTTPS_PROXY,所以手动模式唯一方式是 ANTHROPIC_BASE_URL 指向 /bili/ URL(证书 MITM 拦不到 claude)。
    • 附注:bili claude launcher 会自动注入 CLAUDE_CODE_AUTO_COMPACT_WINDOW(PR-D 的预算协调),但手动 /bili/ 用户拿不到这个注入,需自行设成 bili 对该模型的有效窗口;claude 会把该值向下钳制到它自己感知的模型窗口(不会向上),所以设大了安全。

    文档描述的是 PR-D 的 launcher 行为,故随 PR-D 一起合并。至此 #321 的四个分层 PR(D/C/E1/E2)+ claude 手动模式文档全部就绪。

  12. ranxianglei commented on Aug 28, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 这份 claude 侧调查结论我已在 PR-D(#322) 里全部落地了(这条是之前那条评论的再次转发,工作已完成)。逐条对照:

    实施清单(claude 侧)— 全部完成:

    1. ✅ env 注入:CLAUDE_CODE_AUTO_COMPACT_WINDOW=W。W 取 bili 窗口解析链(launcher 侧可用段:resolveConfiguredContextLimit(routes 配置)→ lookupContextLimit(内置表)→ contextFromRegistry(registry),与代理侧 configured > table > registry 的尾部一致)。
      • 注入点说明:你写的是 buildClaudeEnv(launcher.ts:352)。实际我放在 buildClaudeEnv 返回后立即 Object.assign(env, claudeBudget)(launcher.ts:1571)—— 因为 W 的解析是 async(registry 兜底要 fetch),而同步的 buildClaudeEnv 里做不了。两者落到同一个 env 对象(最终传给 runClient),与"在 buildClaudeEnv 里注入"功能完全等价,只是位置后移一行以容纳 async 解析。
      • 尊重用户已有设定:若用户已设 autoCompactWindow(settings)或 shell 已导出 CLAUDE_CODE_AUTO_COMPACT_WINDOW,launcher 不覆盖(返回 {}),与你核实的 env > settings 优先级一致。
    2. ✅ 文档:MITM/手动模式用户手动对齐说明 —— 已补进 PR-D(commit 8adeef1,EN + zh-CN):/bili/ 前缀小节新增 Claude Code 条目(undici 忽略 HTTPS_PROXY,手动唯一方式是 ANTHROPIC_BASE_URL 指向 /bili/),并说明手动模式需自设 CLAUDE_CODE_AUTO_COMPACT_WINDOW(或 settings autoCompactWindow),claude 向下钳位、设大安全。
    3. ✅ 完。

    关键结论全部印证并已按此实现:

    • E2 拦截伪造是 codex 专有 —— claude/pi/omp/opencode/dsh/hermes 均无 codex 式远程压缩协议(本地总结 = 同 session-id 大截断 → kernel id 失活自愈,零新代码)。PR-E2(feat: intercept + forge codex native compaction when ACP is healthy (#321 PR-E2) #325)只针对 codex。
    • CLAUDE_CODE_MAX_CONTEXT_TOKENS 不是旋钮(仅 DISABLE_COMPACT 时读)—— 我用的是正确的 CLAUDE_CODE_AUTO_COMPACT_WINDOW。
    • 钳位只向下、方向安全 —— 注入 bili 窗口永远只会收紧 claude 阈值,不会放大撞墙。

    四个分层 PR(D/C/E1/E2)+ claude 文档均已在途(#322/#323/#324/#325,全 open),待人工合并。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions