Skip to content

研究下这个 codex 更新 #369

Closed
Closed

Description

@ranxianglei

刚看到一个新闻,可能codex官方也要实现类似功能了

OpenAI 正在推进 Codex 上下文窗口管理升级:以往对话超出限制时,系统靠生成摘要压缩历史,既消耗 token 又容易丢失细节;新方案改为直接开启全新窗口继续工作——模型可主动申请换窗,手动 / 自动清理也统一走新窗口流程,在这一新方案下不再生成摘要。同时配套历史记录与笔记能力,换窗后模型可按需找回此前内容、延续工作状态,避免任务中断。相关功能仍处开发阶段、尚未正式上线。

openai/codex#27488
openai/codex#29743
openai/codex#39827


Mirrored from ework issue #369

Activity

  1. ranxianglei commented on Aug 31, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 收到,正在研究这三个 PR。先说初步结论:三个 PR 都已合入 openai/codex main(不是传闻,是已落地的代码),分别对应「模型主动换窗工具」「手动/自动 compact 统一走新窗口」「history + notes 跨窗回忆工具」。正在细读 diff 和我们 proxy 的 compact 拦截路径,稍后给出完整分析(机制 + 对 billion-context 的影响)。

  2. ranxianglei commented on Aug 31, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · vllm-qwen/qwen3.8-27b

    [bot] 研究完成(细读了三个 PR 的完整 diff + 我们 proxy 的 compact 拦截路径)。先说结论:三个 PR 都已合入 openai/codex main(不是传闻),但全部在 Feature::TokenBudget feature flag 后面(config.toml [features.token_budget] enabled = true 才开),history/notes 部分还额外要求 OpenAI provider + Codex backend 登录——所以「尚未正式上线」准确:代码已落地,默认未启用。

    1. 三个 PR 各做了什么

    #27488 — new_context 工具(2026-06-11 合入,pakrym-oai)

    • 新增 direct-model-only 工具 new_context(无参数,description "Start a new context window."),仅 TokenBudget 开启时暴露。
    • 机制:模型调用 → AutoCompactWindow 置 new_context_window_requested 标志 → sampling 后 maybe_start_new_context_window() 消费:window_id+1、清 prefill、整段历史替换为全新 initial context(只有 developer 指令 + <token_budget> 预算消息 + 环境信息,零对话历史)、落盘一个 message 为空的 RolloutItem::Compacted(即「无摘要 compaction checkpoint」)、触发 SessionStart(Compact) hook。
    • 同一 turn 内的下一个 follow-up 请求就在新窗口(snapshot 测试证明第 3 个请求不含旧历史)。工具返回语:"A new context window will start without summarizing conversation history."

    #29743 — 手动/自动 compact 统一走新窗口(2026-06-23 合入,bolinfest)

    • TokenBudget 下 /compact(手动)和 auto-compact 都走 compact_token_budget:不再调 server-side/local 摘要,直接本地装新窗口。测试显式断言「无 server-side compaction 调用」。
    • 生命周期副作用保留:pre/post compact hooks 和 TurnItem::ContextCompaction 事件照常发,客户端/hook 观感不变。
    • 重构出 take_new_context_window_request()(消费模型请求)与 start_new_context_window()(装新窗口)分离,两条路径复用。

    #39827 — history + notes 工具(2026-08-21 合入,copyberry[bot] 内部→OSS 同步)

    • 新 crate codex-rs/ext/history-notes/,暴露 9 个命名空间工具:
      • history.list_windows / list_items / read_item / search_contents
      • notes.list_files_by_prefix / read_file / search_contents / append_to_file / write_file
    • 后端是 OpenAI 托管服务:工具调用走 POST /backend-api/codex/alpha/...(如 alpha/notes/v2/read_file),客户端注入可信 context: {session_id, current_agent_name}(测试显式验证模型伪造的 session_id 会被可信值覆盖)。支持多 agent(agent path /root/worker)、支持加密输出(EncryptedContent)。
    • 硬限制:结果 ≤10k tokens、≤100 windows、每窗 ≤20 items(各 2k chars)、单次读 ≤20k chars、搜索 ≤20 条、notes ≤100 文件/每文件 10 条匹配。
    • 启用条件:features.token_budget.use_history_notes_history = true(默认 false)且 OpenAI provider 且 Codex backend auth。
    • 相关配置还暴露了自动清理路径:auto_compact_fallback_prompt(默认 "Write notes immediately.")+ auto_compact_fallback_buffer_tokens——预算快耗尽时先提示模型写笔记,再重置窗口。

    2. 与 billion-context 的对比

    codex token-budget bili (acp-kernel)
    何时换窗 模型主动 new_context / 预算自动触发 模型主动 compress / preflight 自动触发
    留下什么 什么都不留(无摘要) 分层摘要(T1/T2/T3)
    回忆 history.* 搜索(OpenAI 后端专属) decompress(完整原文)+ search_context
    状态延续 notes.*(模型自己写笔记) 摘要 + 模型自写文件笔记
    适用 provider 仅 OpenAI backend 任意 provider
    prefix cache 全量重置 友好(增量写入)

    方向上两者在收敛:「模型主动决定何时换窗 + 换窗后按需回忆」。差异:codex 靠搜索回忆(模型得知道要找什么,否则找不到),acp-kernel 留摘要地图(模型从地图知道要找什么)且可还原完整原文。另外 codex 的 history item 用 [id: ...] 短 id 映射 + window ID,架构上和我们的 m00NNN 引用 + blocks 非常像。

    3. 对我们的影响

    短期:零。

    • TokenBudget 默认关;我们的 e2e(API-key auth + 本地 upstream)不满足 current_auth_uses_codex_backend(),history/notes 不会暴露。
    • e2e forge 阶段依赖 codex 的 remote compaction 请求(最后一个 input item 是 compaction_trigger,见 src/codex-compact.ts:32)。TokenBudget 下 compaction 变成纯客户端换窗、无 server 请求——如果将来该模式默认开,将无东西可拦截;但当前 e2e 不受影响(已核代码确认)。

    中期风险: 若 OpenAI 对 hosted codex(ChatGPT 登录用户)默认开启 TokenBudget,这部分会话的 native remote compaction 请求会消失 → 我们的 codex compact intercepted 路径(BILI_CODEX_COMPACT,#325)对该人群不再触发。该路径对非 TokenBudget codex 和其他客户端仍有价值,不是死代码,但主目标人群会缩小。

    机会(重点): codex TokenBudget 模式对 API-key 用户(无 ChatGPT 登录)意味着换窗后历史彻底丢失、没有任何回忆通道——这恰好是 bili 的地盘。可以做「跨窗回忆」:

    1. 检测 mid-turn 历史骤降(新请求历史突然变短且无 compaction item → codex 换了窗);
    2. 旧窗口的 blocks 不做 orphan GC,归档为「window archive」;
    3. 向新窗口注入提示:「上一窗口内容仍可通过 search_context / decompress 找回」。

    这样对 API-key 用户,bili 严格优于 codex 原生 TokenBudget——OpenAI 自己的实现证明了需求,但只把回忆层给了登录用户。

    4. 建议后续

    1. 盯 codex 后续 release 里 Feature::TokenBudget 是否默认开(apply_model_defaults 的 per-model 默认机制已存在,有按模型灰度的路径);copyberry bot 是内部仓库→OSS 的同步器,预计还会有后续部分落地。
    2. 跨窗回忆是个 feature 机会(不是 bug),我没有擅自开 issue;@Dog 如果认可方向,我可以开一个 tracking issue(检测 + 归档 + 提示注入)。
    3. 当前无需代码改动。
  3. ranxianglei commented on Sep 8, 2026

    @ranxianglei
    OwnerAuthor

    重新仔细研究这个问题 看是不是和我们实现方案一样

  4. ranxianglei commented on Sep 8, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 收到,正在做机制级对比:细读我们 acp-kernel/bili 的实现(loop core、compress/decompress 语义、状态存储)+ 把 codex token-budget 系列的 PR 全部翻一遍(不止这三个),逐条对照触发机制、状态保留、回忆语义、状态位置。稍后给完整结论。

  5. ranxianglei commented on Sep 8, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 重新仔细研究完成。这次把 codex token-budget 相关的 PR 全部翻了一遍(不止 issue 里的三个,共 15 个相关 PR,其中 6 个关键),并对照我们 proxy 的实现代码(src/loop/core.ts、src/orphan-gc.ts、src/compress-tool.ts、src/decompress-shared.ts)逐机制对比。

    结论:不是同一个实现,是同一个范式。 触发机制高度相似,但状态位置、保留内容、回忆语义、适用范围四个核心维度都不同。

    1. 机制级对比

    维度 codex token-budget bili (acp-kernel)
    状态位置 客户端 (codex-rs) + OpenAI 托管后端 proxy 进程内 + 本地磁盘 (kernel StateStore)
    触发换窗 模型调 new_context(无参工具);预算耗尽自动(reminder_threshold_tokens 提醒 + auto_compact_fallback_prompt "Write notes immediately.") 模型调 compress(带 range 参数);nudge(growth/usage 阈值,kernel processTurn 决策,≈55%×W 先于 codex 90% 原生压缩触发);preflight 自主压缩
    换窗时留下什么 什么都不留:历史整段替换为 initial context,落盘空 message 的 Compacted checkpoint 分层摘要 block(T1/T2/T3)+ 完整原文(blockContents 内存 + 磁盘)
    回忆语义 有损检索:history.search_contents 搜后端,返回片段(每 item ≤2k chars、≤20 条、总 ≤10k tokens、read_item ≤20k chars),可重复调用 无损还原:decompress 恢复原文(默认一层,full:true 到原始消息);search_context 搜 block 摘要地图
    回忆代价 无代价(后端存储) 有代价:decompress 是一次性的——恢复原文后 block 立即 deactivate 且删除缓存(src/decompress-shared.ts:94-100),不能反复看
    状态延续 notes.* 5 个工具(后端存储,≤100 文件) 模型自写文件 + 摘要本身即状态
    多 agent 一等公民:agent path(/root/worker),history 可按 agent 查 会话级隔离(session id),无跨会话概念
    预算可见性 每请求注入 <token_budget>You have N tokens left in this context window.</token_budget> nudge 文本 + acp_status 报告(无逐请求预算消息)
    适用面 ChatGPT Plus/Pro/Pro Lite + Codex backend + 支持模型(见下) 任意 provider × 任意能设 baseURL 的客户端
    prefix cache 全量重置(cache 全丢) 增量折叠,prefix 存活(#189 还做了 staged-compress 平滑过渡防风控)

    2. 新发现的 rollout 细节(issue 里三个 PR 之外的)

    • #41803(08-31 合入):模型元数据可默认开启 token budgeting + history-notes——按模型灰度的机制已就位。
    • #42385(09-02 合入):features.context_management.experimental_mode——仅对 ChatGPT Plus/Pro/Pro Lite + Codex backend 会话生效;PR 明确写明 custom providers、provider credentials、非 Codex endpoint 保持禁用。
    • #43147(09-06 合入):ModelInfo.supports_experimental_context 默认 false,只对内置的 gpt-6-astra 模型启用——rollout 绑定了新模型。
    • #43912("Keep Guardian reviewers on summary-based compaction"):他们的子审查 agent 仍走摘要压缩——新方案只覆盖主会话,自己也没完全放弃摘要。

    所以「尚未正式上线」的准确状态是:代码全在 main 上,但被「订阅等级 × 模型能力 × Codex backend」三重 gate 住,目前只对 gpt-6-astra + 订阅用户实验性开放。

    3. 关键判断

    1. 范式验证:「模型主动换窗 + 换窗后按需回忆」被 OpenAI 用生产代码确认了。我们的 compress/decompress/search_context 工具面、模型自主决策、按需还原,方向完全一致——他们等于在官方客户端里重新发明了我们做的事。
    2. 实现上他们是我们的子集:
      • 回忆是有损检索(片段、有上限),我们是无损还原(拿回原文)+ 摘要地图。
      • 回忆层只在 OpenAI 后端存在;#42385 明确把 custom provider 排除——API-key 用户(含所有非 OpenAI 后端用户)在他们方案里换窗后就是裸奔,这正是 bili 的位置。
      • 换窗是全量重置(prefix cache 全丢);我们是增量折叠(prefix 存活)。
    3. 他们有两个我们目前没有的东西:
      • 逐请求预算消息(<token_budget> "You have N tokens left")——比我们的 nudge 更直接,模型每轮都看得见剩余预算。值得借鉴。
      • 多 agent 历史(agent path 维度)——我们是单会话模型,sub-agent 场景没有一等支持。
    4. 架构收敛的有趣证据:他们的 history item 用 [id: ...] 短 id 映射 + window ID,和我们的 m00NNN 消息引用 + block ID 几乎同构。两条独立路线收敛到「窗口 + 条目 + ID + 检索」,说明这个抽象是对的。

    4. 对代码的影响(核过一遍)

    • 当前无需改动:三重 gate 下我们的 e2e(API-key + 本地 upstream)完全不受影响;forge 阶段拦截的 compaction_trigger 请求(src/codex-compact.ts:32)在非 token-budget 模式下照常存在。
    • 注意 src/orphan-gc.ts:28 的 ORPHAN_THRESHOLD = 3:如果将来有 token-budget 模式的 codex 流量过 bili,换窗后旧消息全部消失 → 旧 blocks 会在 3 个 turn 后被 GC 掉(blockContents 一并删除,src/orphan-gc.ts:60-66)。做「跨窗回忆」时这里要改成归档而非回收。
    • 建议的后续(按价值排序):
      1. 逐请求预算注入(低成本,直接借鉴 <token_budget> 格式);
      2. 跨窗回忆:检测换窗(历史骤降 + 无 compaction item)→ 旧窗口 blocks 归档 → 新窗口注入「可用 search_context/decompress 找回」提示(中成本,差异化最大);
      3. 多 agent 会话模型(高成本,看需求再说)。

    需要的话我可以把 1 和 2 各开一个 issue 跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions