Skip to content

给出缓存精确对账,增加新的命令/acp-开头 #800

Closed

Description

@ranxianglei

给出缓存精确对账,增加新的命令/acp-开头,本命令也注册给模型让模型也能拿到对账数据。

用户会怀疑我们的压缩可能破坏缓存严重进而认为插件还不如原始压缩,虽然这个是错误的,但是我们空说无凭证。

现在需要给出非常精确的对账数据。agent本身会记录输入输出以及命中的输出输出。因此有每次和总的缓存命中。

我们要拆解,每一次失效从哪里来的,是压缩导致还是ttl过期导致。最后的总缓存命中,每一次的缓存命中。

最后我们给出的缓存命中数据必须和总账对上。

工具返回总账,和分帐明细。

进阶:给出压缩经济学,仅从省token的基础上给出,后面专门issue给出质量经济学
参考 ranxianglei/billion-context-pi#359

以下三个项目都需要改。

https://github.com/ranxianglei/billion-context/
https://github.com/ranxianglei/billion-context-pi
https://github.com/ranxianglei/acp-kernel

Activity

  1. ranxianglei commented on Sep 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 Triage 完成(查重 → 代码定位 → 方案评估)。设计已定,开始实现,PR 出来贴链接。

    1. 查重结论

    与 #359(billion-context-pi,压缩经济学记录 issue)相关但不重复:#359 回答的是"折叠是否经济"(结论:n*≈3–5 ≪ k≈20,净赚 3–4×),已落地观测字段(PR #447:firstFoldStartPct/retainedPctUpperBound)与经济模型文档(PR #448);#800 要的是测量级精确对账——把每一次缓存失效拆成"压缩导致 vs TTL 过期导致",总账必须与 provider 上报的总缓存命中严格对平,并给出 /acp-* 命令(同时注册给模型)。性质不同(#359=模型/估算,#800=测量/对账),保持打开,正常推进。

    2. 方案(单一建议)

    数据基线:每次请求的 provider 上报 usage(input/cached/output)= 总账,我们不造数;我们的工作是让分解严格可加。

    逐请求恒等式(算术上必然成立 ⇒ 总账必然对平):

    missed_i = input_i − cached_i          该请求未命中量
             = newContent_i                新增追加内容(合法 fresh,不算失效)
             + compRepay_i                 压缩导致的重付
             + ttlRepay_i                  残差:稳定前缀内的漏命中(TTL 过期/provider 侧驱逐)
    

    汇总即总账:totalInput = totalCached + ΣnewContent + ΣcompRepay + ΣttlRepay,精确闭合,无估计项参与闭合。

    压缩经济学(进阶,纯 token 口径):复用 #359 公式体系,但把估算量换成实测:

    • 一次性成本 ΔC₁ = (w−r)·T实测 + q·σ − r·S(T实测 = 该折后首请求实测 compRepay;σ = 摘要实际输出 token;S = 压掉量)
    • 每回合节省 Δs = (S−σ)·r̄;回本回合数 n* = ΔC₁/Δs;与到下一次折叠的实测间隔 k 对比 → 每个折叠给出"已回本/未回本"判定
    • 总账视角:累计省下 token = Σ(S_f − σ_f)×后续请求数,减摘要成本 = 净收益
    • 价格档 (w,r,q) 可选配置;不配置则只给纯 token 单位(与 fix: bili pi launcher disables pi's native auto-compaction (#447) #448 定价对比结论一致:甜点由几何决定,价格只缩放绝对值)

    命令面(三仓分工):

    仓库 改动
    acp-kernel 新 src/cache-report.ts:CacheSample/FoldEvent 类型 + buildCacheReport()(总账+分帐+经济学,纯函数,唯一计算口径)+ acp_cache 工具定义(OpenAI/Anthropic/Responses 三 wire 格式,read-only、不进循环)+ 单测。先发版(跨仓依赖链)
    billion-context 代理端台账:每请求 usage 环形缓冲(带上限)+ 折叠事件持久化进 session;前缀分歧点计算(proxy/plugin 两种模式走同一管线,口径统一);executeProxyTool 分发 acp_cache(proxy 模式注入 + plugin 模式路由);管理端点 GET /__bili/cache-report?session=(web UI 用)
    billion-context-pi /acp-cache slash 命令 + acp_cache 模型工具(共享 handler);samples 从 pi 自己的 SessionEntry usage footer 读,折叠事件从 state.blocks 派生(startRef/endRef/compressedTokens/createdAt),不加新存储 schema

    否决点(有异议请在实现完成前提出,否则按此发):

    1. 工具名 acp_cache、命令 /acp-cache(与 acp_status 同族)。
    2. 分帐明细保留最近 N=512 个请求(聚合值永久持久化,明细环形截断)——session 文件体积平衡。
    3. TTL 桶措辞诚实标注为"稳定前缀内漏命中(主因 TTL 过期)"——测量之外不做因果断言。

    跨仓发布顺序:acp-kernel PR 先合并发版 → billion-context / pi 的 PR bump pin(现均钉 0.0.69,将随 0.0.70/0.0.71 一起跳到新版)。依赖 PR 在 kernel 发版前 CI 会红,PR 正文会注明。

    开工。

    中文摘要:设计了严格可加的缓存对账方案(每请求 miss = 新内容 + 压缩重付 + TTL 残差,总账与 provider 总命中精确闭合),数学与工具定义放 acp-kernel、代理端台账放 billion-context、/acp-cache 命令与模型工具放 pi,三个 PR 按 kernel 先发顺序推进。

  2. ranxianglei commented on Sep 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 进度汇报(缓存精确对账,三仓库改动):核心已完成两个 PR,pi 侧正在收尾。

    设计:可闭合的加法恒等式

    每次 provider 上报的 usage 被拆成一个精确加法恒等式,总账永远对得上——不是估计,是定义上闭合的:

    missed_i = input_i − cached_i = newContent_i + compRepay_i + ttlRepay_i
    
    • newContent:自上次请求以来新加入的 token(正常增长);
    • compRepay:压缩导致的失效重付——上限 = 超出折叠分歧点 X 的结构增量,即压缩只为它真正打掉的缓存付费,稳定前缀里因 TTL 过期/逐出而失效的部分诚实地落进 ttlRepay("TTL/其他"),不冤枉压缩;
    • 报告每次都打印 identity check OK — IN = C + NC + CR + TR,实现有 bug 会当场暴露,藏不住。

    分帐明细(LINE ITEMS):每个请求一行 hit% | IN=C+NC+CR+TR,压缩导致的重付单独标出;超过 512 行时显示最近窗口,但总账用持久化累计值(重启不丢、窗口淘汰不影响总账)。

    折叠经济学(仅省 token,质量经济学按你说的另开 issue)

    每个压缩事件(fold)给出:S(压掉)、σ(摘要)、h(后一次命中率)、T(实测归因重付)、ΔC₁=(w−r)·T+q·σ−r·S(一次性成本)、Δs=S−σ(每轮节省)、**n*=ΔC₁/Δs(盈亏平衡轮数)vs k(实测到下次折叠用了多少轮)**→ 判定 PAID BACK / NOT PAID BACK。末尾汇总 gross saved − repay − summary = net tokens,以及几个 fold 已回本。

    命令与注册

    • /acp-cache(用户侧 slash 命令)+ acp_cache 工具(注册给模型,只读)——两边同一份报告;
    • proxy 模式三种 wire(Anthropic/OpenAI/Responses)全部支持;plugin 模式(pi 本地压缩)由 proxy 在 usage 到达时通过 state.blocks diff 懒检测折叠事件;
    • 管理端点 GET /__bili/cache-report?session=<id> 出 JSON 原始数据(web UI 后续可直接接)。

    PR(合并顺序有依赖)

    1. acp-kernel#297 — 对账核心:buildCacheReport / formatCacheReport / decomposeSample / summarizeFoldEconomics(kernel 774/774 测试过)。
    2. billion-context#804 — proxy 侧 ledger + acp_cache 工具 + 管理端点(1519/0 测试过)。pin acp-kernel@0.0.73——注意:已发布的 0.0.72 是从我分支基线切出的 no-op release,不含新导出,所以依赖方 pin 的是 0.0.73。CI 会在 0.0.73 发布前红(npm install 找不到版本),发布后自愈。
    3. billion-context-pi — 正在写,马上提(npm ci 仓库,pin 策略不同,PR body 里有说明)。

    合并顺序:先合 #297 → 切 kernel release v0.0.73 → 两个依赖 PR 转绿。

    中文摘要:实现了"总账=分账明细"的缓存精确对账(加法恒等式保证闭合,压缩只对真实打掉的缓存付费,TTL 失效单独归因),新增 /acp-cache 命令和 acp_cache 模型工具并附每折经济学(盈亏平衡轮数判定),kernel 与 proxy 两个 PR 已开,pi 侧收尾中。

  3. ranxianglei commented on Sep 15, 2026

    @ranxianglei
    OwnerAuthor

    继续

  4. ranxianglei commented on Sep 15, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 #800 三个仓库全部完成,PR 如下(合并顺序见最后):

    **1. acp-kernel — https://github.com/ranxianglei/acp-kernel/pull/297**(对账核心)

    • buildCacheReport(samples, folds) + formatCacheReport:输入每次请求的 usage 样本(provider 上报的 input/cached/output)和每个 fold 事件,输出总账 + 分账明细。
    • 分账算法:每次 miss = input − cached,拆成三段——new content(相对上一次的净增长,属正常追加不算失效)、compress re-pay(结构性超出:min(remainder, input − X − newContent),X = fold 最早 ref 之前的前缀 token)、ttl/other(剩余,即稳定前缀上的失效)。恒等式 IN = C + NC + CR + TR 按构造精确闭合,报告里带 identity check OK — IN = C + NC + CR + TR 一行自证。
    • 折叠经济学(仅 token 维度,质量经济学另开 issue):默认 Anthropic 价格比 w=1 r=0.1 q=4;每个 fold 给 ΔC₁=(w−r)T+qσ−rS、Δs=(S−σ)r、盈亏平衡轮数 n*=ΔC₁/Δs,对照实测节奏 k(到下一个 fold 的样本数)判 PAID BACK / NOT PAID BACK / ?,末尾有 session verdict 汇总。
    • 本地 774/774 测试通过。

    **2. billion-context — https://github.com/ranxianglei/billion-context/pull/804**(代理侧)

    • 每条请求流结束时采一个样本(Anthropic SSE 与 OpenAI/Responses 两条路径都覆盖),fold 事件从压缩观察点喂入(含 tier 蒸馏)。
    • 注册 acp_cache 只读工具给模型(proxy mode 和 plugin mode 都能调),另有 /__bili/cache-report HTTP 端点供非插件客户端查询。
    • 本地 1519 通过 / 0 失败。

    **3. billion-context-pi — https://github.com/ranxianglei/billion-context-pi/pull/449**(pi 侧)

    • acp_cache 模型工具 + /acp-cache 命令(同一段报告文本;TUI 走 custom status message,无 UI 走 notify)。样本取自会话条目的 usage footer(pi 的 input 不含 cache token,已映射为计费总额,cache-write 留在 fresh 侧因为按写价计费)。
    • 本地 813/821 通过,2 个失败是存量 fixture 问题(见下)。

    诚实声明两个局限:

    • 总账、命中率、每请求命中数全是 provider 原始数据,恒等式精确闭合;但 NC/CR/TR 之间的拆分依赖我们自己的 token 估算尺度算 X(fold 前缀大小),不是 provider 计费尺度——对账"对上总账"是保证,三段拆分的精度取决于估算器。
    • ttl/other 把 TTL 过期、eviction 和其他稳定前缀失效合在一桶——wire 数据本身无法区分 TTL 与 eviction,这是纯线数据能做到的极限。冷启动规则:首个请求的整段 miss 记入 ttl/other(无前次基线可归因)。

    过程中发现的新问题:pi 的 #289 回归测试(view-recount Fix A/B)依赖"单独压 tool-call split-core、留下孤儿 result"的构造手法,被 kernel #684 的 turn-integrity gate 明确禁止了——pin 在 0.0.69 时绿,升到含 #684 的版本必红。已开 issue:ranxianglei/billion-context-pi#450 (含复现、根因、修法建议)。

    合并顺序(重要):#297 先合并 → CI 自动发 acp-kernel v0.0.73 → 我在 #804/#449 各补一个 pin-bump commit(billion-context 已预置 pin 0.0.73;pi 因 CI 用 npm ci 需同时刷 lockfile)→ 两边转绿后合并。在此之前 #804/#449 的 CI 红是设计内状态(装不到未发布的 kernel),PR 描述里都写明了。

  5. ranxianglei commented on Sep 16, 2026

    @ranxianglei
    OwnerAuthor

    link #863

  6. ranxianglei commented on Sep 16, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已读 #863,与 #800 的关系核对如下:

    无冲突,可独立并行。 #863 三节各自落点:§1 窗口活读改 launcher/client-config/窗口级联;§2 输出预算对账改 src/server/budget.ts;§3 明确不需要上游改动。我的 #804 diff(src/cache-ledger.ts 新增 + loop/core.ts、stream.ts、plugin.ts、server.ts 采样与端点点)与之零文件重叠。#863 已在另一个会话处理中,我这边不重复动手。

    两处协同点(供 #863 实现方参考,不在本线程展开实现):

    1. §2 的 reclaimed = estimate(raw body) − estimate(projected body) 是两次估算之差;代理侧其实有测得值——kernel 每个压缩块的 compressedTokens(feat: per-request cache reconciliation ledger (acp_cache tool) #804 的 fold 事件就是同一数据源)。用测得值替代双估算,"还"的量会更准,且天然防负值。
    2. §3 的证据链依赖的观测面在 feat: per-request cache reconciliation ledger (acp_cache tool) #804 合并后更强:GET /__bili/cache-report 直接给出每请求缓存命中与逐 fold 经济学,客户端侧做"压缩是否破坏缓存"的对账时可以直接取数,不用再从 usage 反推——这正是 给出缓存精确对账,增加新的命令/acp-开头 #800 标题里要回答的那个质疑。

    一个状态提醒:master 自 #804 分支点(a1b24aa)后已推进 41 个提交,server.ts(+174)、loop/core.ts(+41)、plugin.ts(+12)、package.json 都有变更。#804 合并前需要 rebase 到最新 master——这本来就排在"kernel v0.0.73 发布 → 补 pin-bump commit"那一步里一起做,现在不动。

  7. ranxianglei commented on Sep 17, 2026

    @ranxianglei
    OwnerAuthor

    继续

  8. ranxianglei commented on Sep 19, 2026

    @ranxianglei
    OwnerAuthor

    /acp-cache 这个命令在bili 启动器模式和native模式无法使用 但是模型可以用 人用不了

  9. ranxianglei commented on Sep 19, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    确认属实,是功能落地时的缺口,已修复:PR #974。

    查证(代码级)

    • 模型侧:acp_cache 在代理 manifest 里(kernel ACP_TOOL_NAMES,只读类),任何模式模型都能调 ✓
    • 人侧:src/agent/pi.ts 的 createBiliPlugin() —— 启动器模式(bili pi)和 native 模式(裸 pi + 插件安装,pi-native.ts 加载的正是同一个工厂)共用它 —— 只注册了 /acp,没有 /acp-cache。人用命令此前只写进了 billion-context-pi#449(已合并但尚未发 npm stable),所以出现"模型可以用、人用不了"。

    修法(PR #974)

    • 共享工厂新增 /acp-cache 命令:走既有 /__bili/plugin/tool 端点转发执行 acp_cache,与模型侧同一份报告文本;渲染为持久 custom message(TUI/pi-web 可见),老宿主降级 notify。一处注册同时覆盖启动器模式 + native 模式 + omp。
    • 上下文卫生:持久化报告包在 [acp-cache]…[/acp-cache] 显式标记里,代理 strip 层(与 /acp 面板同一机制、三个调用点全过)在进入压缩状态前把它从模型上下文剔除——报告不污染上下文;未包装的报告(比如模型自己经工具产出的)不受影响。选显式标记而非锚定 kernel 输出格式,是因为报告长度可变(行项表最多 512 行)且格式归 acp-kernel 所有。两种压缩模式都走同一条 strip 路径,已分别推演。
    • 预检:typecheck 干净、1910 测试全过、build 通过并验证了 dist/agent/pi.js 产物含新命令。

    剩余项(不在本 PR)

    • dsh:命令机制不同(cordis patch),且工具转发端点没有"最近会话"解析(status 有、tool 没有),dsh 的 /acp-cache 需要代理侧小改动,如需要我另开 issue。
    • billion-context-pi#449 已合并但未发布(npm latest 仍 0.1.71),bcp 侧的 /acp-cache 要等下次发布才可用。

    合并发布后验证方式:bili pi(或 native pi)先发一条消息,再输入 /acp-cache,应看到与模型 acp_cache 工具完全相同的对账报告。

    一句话:给 pi/omp 共享薄插件补上了缺失的 /acp-cache 人用命令(与模型侧同源数据、持久消息会从模型上下文剥离),预检全绿,待你审查。

  10. added 2 commits that reference this issue on Sep 19, 2026
  11. ranxianglei commented on Sep 19, 2026

    @ranxianglei
    OwnerAuthor
  12. ranxianglei commented on Sep 19, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    billion-context-pi 的发布已开:**https://github.com/ranxianglei/billion-context-pi/pull/473**(`release v0.1.72,分支 2026-09-19_release-v0.1.72`)。

    本次发布内容(v0.1.71 之后):

    acp-kernel pin 保持 0.0.75(已发布且含 #297 cache-report 导出),不往 release commit 里捆绑无关的 kernel 更新。

    Pre-flight:typecheck ✓、build ✓;本地测试 750 过 / 80 败——80 个全部是 EACCES ... /tmp/pai-acp-*:本沙箱 /tmp 是只读挂载,而 bcp 测试硬编码了 /tmp 路径(环境限制,与本次改动无关;该 commit 仅改 package.json + lockfile 的版本号)。CI runner 的 /tmp 可写,会在 PR 上确认。

    顺带发现(仅在本线程报告,不另开 issue):bcp 测试硬编码 /tmp 绝对路径(如 /tmp/pai-acp-export-*),在只读 /tmp 的环境会挂 80 个;建议改用 os.tmpdir()/工作区临时目录做环境无关化。

    下一步:

    1. 请人工合并 PR plugin mode is not covered by the fake-completion detect+retry (#371 / #378 follow-up) #473(我不能合并 PR)。合并后 CI 自动发 npm(latest = 0.1.72)+ tag v0.1.72,可用 npm view billion-context-pi version 验证。
    2. 两种用法模式各由哪个发布覆盖:
      • 独立 pi(不走代理):装 billion-context-pi@0.1.72 即有 /acp-cache(进程内 kernel 数据,不依赖代理)。
      • native 模式(裸 pi + bili 代理):bcp 会自动 stand down,/acp-cache 走 bili 薄插件——即今天早些开的 bili PR fix: register /acp-cache command in the pi/omp thin plugin (#800) #974(也待你合并),合并后 npm i -g billion-context@latest 生效。

    一句话总结:开了 bcp 发布 v0.1.72(PR #473)把 #449 的 /acp-cache 送上 npm,pre-flight 全绿(本地 80 个测试失败系沙箱只读 /tmp 的环境因素);待你合并 #473 与 bili #974,两种模式下的人工命令即完整可用。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions