给出缓存精确对账,增加新的命令/acp-开头,本命令也注册给模型让模型也能拿到对账数据。 用户会怀疑我们的压缩可能破坏缓存严重进而认为插件还不如原始压缩,虽然这个是错误的,但是我们空说无凭证。 现在需要给出非常精确的对账数据。agent本身会记录输入输出以及命中的输出输出。因此有每次和总的缓存命中。 我们要拆解,每一次失效从哪里来的,是压缩导致还是ttl过期导致。最后的总缓存命中,每一次的缓存命中。 最后我们给出的缓存命中数据必须和总账对上。 工具返回总账,和分帐明细。 进阶:给出压缩经济学,仅从省token的基础上给出,后面专门issue给出质量经济学 参考 https://github.com/ranxianglei/billion-context-pi/issues/359 以下三个项目都需要改。 https://github.com/ranxianglei/billion-context/ https://github.com/ranxianglei/billion-context-pi https://github.com/ranxianglei/acp-kernel
Activity
ranxianglei commentedon Sep 15, 2026
[bot] 🏷 Triage 完成(查重 → 代码定位 → 方案评估)。设计已定,开始实现,PR 出来贴链接。
1. 查重结论
与 #359(billion-context-pi,压缩经济学记录 issue)相关但不重复:#359 回答的是"折叠是否经济"(结论:n*≈3–5 ≪ k≈20,净赚 3–4×),已落地观测字段(PR #447:
firstFoldStartPct/retainedPctUpperBound)与经济模型文档(PR #448);#800 要的是测量级精确对账——把每一次缓存失效拆成"压缩导致 vs TTL 过期导致",总账必须与 provider 上报的总缓存命中严格对平,并给出/acp-*命令(同时注册给模型)。性质不同(#359=模型/估算,#800=测量/对账),保持打开,正常推进。2. 方案(单一建议)
数据基线:每次请求的 provider 上报 usage(input/cached/output)= 总账,我们不造数;我们的工作是让分解严格可加。
逐请求恒等式(算术上必然成立 ⇒ 总账必然对平):
newContent = min(missed, max(0, input_i − input_{i−1}))compRepay = min(剩余, 折后结构超额):折叠后预期命中率 ≈firstFoldStartPct(bili pi启动器模式没有自动禁用pi的上下文压缩导致自动压缩 #447 字段,日志直读),结构超额 =(input_i − 首个分歧点) − newContentttlRepay = 剩余 ≥ 0(无折叠时全部重付归入此桶)汇总即总账:
totalInput = totalCached + ΣnewContent + ΣcompRepay + ΣttlRepay,精确闭合,无估计项参与闭合。压缩经济学(进阶,纯 token 口径):复用 #359 公式体系,但把估算量换成实测:
ΔC₁ = (w−r)·T实测 + q·σ − r·S(T实测 = 该折后首请求实测 compRepay;σ = 摘要实际输出 token;S = 压掉量)Δs = (S−σ)·r̄;回本回合数n* = ΔC₁/Δs;与到下一次折叠的实测间隔 k 对比 → 每个折叠给出"已回本/未回本"判定命令面(三仓分工):
src/cache-report.ts:CacheSample/FoldEvent 类型 +buildCacheReport()(总账+分帐+经济学,纯函数,唯一计算口径)+acp_cache工具定义(OpenAI/Anthropic/Responses 三 wire 格式,read-only、不进循环)+ 单测。先发版(跨仓依赖链)executeProxyTool分发acp_cache(proxy 模式注入 + plugin 模式路由);管理端点GET /__bili/cache-report?session=(web UI 用)/acp-cacheslash 命令 +acp_cache模型工具(共享 handler);samples 从 pi 自己的 SessionEntry usage footer 读,折叠事件从state.blocks派生(startRef/endRef/compressedTokens/createdAt),不加新存储 schema否决点(有异议请在实现完成前提出,否则按此发):
acp_cache、命令/acp-cache(与acp_status同族)。跨仓发布顺序:acp-kernel PR 先合并发版 → billion-context / pi 的 PR bump pin(现均钉 0.0.69,将随 0.0.70/0.0.71 一起跳到新版)。依赖 PR 在 kernel 发版前 CI 会红,PR 正文会注明。
开工。
中文摘要:设计了严格可加的缓存对账方案(每请求 miss = 新内容 + 压缩重付 + TTL 残差,总账与 provider 总命中精确闭合),数学与工具定义放 acp-kernel、代理端台账放 billion-context、/acp-cache 命令与模型工具放 pi,三个 PR 按 kernel 先发顺序推进。
ranxianglei commentedon Sep 15, 2026
[bot] 🏷 进度汇报(缓存精确对账,三仓库改动):核心已完成两个 PR,pi 侧正在收尾。
设计:可闭合的加法恒等式
每次 provider 上报的 usage 被拆成一个精确加法恒等式,总账永远对得上——不是估计,是定义上闭合的:
ttlRepay("TTL/其他"),不冤枉压缩;identity check OK — IN = C + NC + CR + TR,实现有 bug 会当场暴露,藏不住。分帐明细(LINE ITEMS):每个请求一行
hit% | IN=C+NC+CR+TR,压缩导致的重付单独标出;超过 512 行时显示最近窗口,但总账用持久化累计值(重启不丢、窗口淘汰不影响总账)。折叠经济学(仅省 token,质量经济学按你说的另开 issue)
每个压缩事件(fold)给出:S(压掉)、σ(摘要)、h(后一次命中率)、T(实测归因重付)、ΔC₁=(w−r)·T+q·σ−r·S(一次性成本)、Δs=S−σ(每轮节省)、**n*=ΔC₁/Δs(盈亏平衡轮数)vs k(实测到下次折叠用了多少轮)**→ 判定
PAID BACK / NOT PAID BACK。末尾汇总 gross saved − repay − summary = net tokens,以及几个 fold 已回本。命令与注册
/acp-cache(用户侧 slash 命令)+acp_cache工具(注册给模型,只读)——两边同一份报告;GET /__bili/cache-report?session=<id>出 JSON 原始数据(web UI 后续可直接接)。PR(合并顺序有依赖)
buildCacheReport / formatCacheReport / decomposeSample / summarizeFoldEconomics(kernel 774/774 测试过)。acp-kernel@0.0.73——注意:已发布的 0.0.72 是从我分支基线切出的 no-op release,不含新导出,所以依赖方 pin 的是 0.0.73。CI 会在 0.0.73 发布前红(npm install 找不到版本),发布后自愈。npm ci仓库,pin 策略不同,PR body 里有说明)。合并顺序:先合 #297 → 切 kernel release v0.0.73 → 两个依赖 PR 转绿。
中文摘要:实现了"总账=分账明细"的缓存精确对账(加法恒等式保证闭合,压缩只对真实打掉的缓存付费,TTL 失效单独归因),新增 /acp-cache 命令和 acp_cache 模型工具并附每折经济学(盈亏平衡轮数判定),kernel 与 proxy 两个 PR 已开,pi 侧收尾中。
ranxianglei commentedon Sep 15, 2026
继续
ranxianglei commentedon Sep 15, 2026
[bot] 🏷 #800 三个仓库全部完成,PR 如下(合并顺序见最后):
**1. acp-kernel — https://github.com/ranxianglei/acp-kernel/pull/297**(对账核心)
buildCacheReport(samples, folds)+formatCacheReport:输入每次请求的 usage 样本(provider 上报的 input/cached/output)和每个 fold 事件,输出总账 + 分账明细。input − cached,拆成三段——new content(相对上一次的净增长,属正常追加不算失效)、compress re-pay(结构性超出:min(remainder, input − X − newContent),X = fold 最早 ref 之前的前缀 token)、ttl/other(剩余,即稳定前缀上的失效)。恒等式IN = C + NC + CR + TR按构造精确闭合,报告里带identity check OK — IN = C + NC + CR + TR一行自证。**2. billion-context — https://github.com/ranxianglei/billion-context/pull/804**(代理侧)
acp_cache只读工具给模型(proxy mode 和 plugin mode 都能调),另有/__bili/cache-reportHTTP 端点供非插件客户端查询。**3. billion-context-pi — https://github.com/ranxianglei/billion-context-pi/pull/449**(pi 侧)
acp_cache模型工具 +/acp-cache命令(同一段报告文本;TUI 走 custom status message,无 UI 走 notify)。样本取自会话条目的 usage footer(pi 的 input 不含 cache token,已映射为计费总额,cache-write 留在 fresh 侧因为按写价计费)。诚实声明两个局限:
ttl/other把 TTL 过期、eviction 和其他稳定前缀失效合在一桶——wire 数据本身无法区分 TTL 与 eviction,这是纯线数据能做到的极限。冷启动规则:首个请求的整段 miss 记入 ttl/other(无前次基线可归因)。过程中发现的新问题:pi 的 #289 回归测试(view-recount Fix A/B)依赖"单独压 tool-call split-core、留下孤儿 result"的构造手法,被 kernel #684 的 turn-integrity gate 明确禁止了——pin 在 0.0.69 时绿,升到含 #684 的版本必红。已开 issue:ranxianglei/billion-context-pi#450 (含复现、根因、修法建议)。
合并顺序(重要):#297 先合并 → CI 自动发 acp-kernel v0.0.73 → 我在 #804/#449 各补一个 pin-bump commit(billion-context 已预置 pin 0.0.73;pi 因 CI 用
npm ci需同时刷 lockfile)→ 两边转绿后合并。在此之前 #804/#449 的 CI 红是设计内状态(装不到未发布的 kernel),PR 描述里都写明了。ranxianglei commentedon Sep 16, 2026
link #863
ranxianglei commentedon Sep 16, 2026
[bot] 🏷 已读 #863,与 #800 的关系核对如下:
无冲突,可独立并行。 #863 三节各自落点:§1 窗口活读改 launcher/client-config/窗口级联;§2 输出预算对账改
src/server/budget.ts;§3 明确不需要上游改动。我的 #804 diff(src/cache-ledger.ts新增 +loop/core.ts、stream.ts、plugin.ts、server.ts采样与端点点)与之零文件重叠。#863 已在另一个会话处理中,我这边不重复动手。两处协同点(供 #863 实现方参考,不在本线程展开实现):
reclaimed = estimate(raw body) − estimate(projected body)是两次估算之差;代理侧其实有测得值——kernel 每个压缩块的compressedTokens(feat: per-request cache reconciliation ledger (acp_cache tool) #804 的 fold 事件就是同一数据源)。用测得值替代双估算,"还"的量会更准,且天然防负值。GET /__bili/cache-report直接给出每请求缓存命中与逐 fold 经济学,客户端侧做"压缩是否破坏缓存"的对账时可以直接取数,不用再从 usage 反推——这正是 给出缓存精确对账,增加新的命令/acp-开头 #800 标题里要回答的那个质疑。一个状态提醒:master 自 #804 分支点(a1b24aa)后已推进 41 个提交,
server.ts(+174)、loop/core.ts(+41)、plugin.ts(+12)、package.json都有变更。#804 合并前需要 rebase 到最新 master——这本来就排在"kernel v0.0.73 发布 → 补 pin-bump commit"那一步里一起做,现在不动。ranxianglei commentedon Sep 17, 2026
继续
feat: per-request cache reconciliation ledger (acp_cache tool)
ranxianglei commentedon Sep 19, 2026
/acp-cache 这个命令在bili 启动器模式和native模式无法使用 但是模型可以用 人用不了
ranxianglei commentedon Sep 19, 2026
确认属实,是功能落地时的缺口,已修复:PR #974。
查证(代码级)
acp_cache在代理 manifest 里(kernelACP_TOOL_NAMES,只读类),任何模式模型都能调 ✓src/agent/pi.ts的createBiliPlugin()—— 启动器模式(bili pi)和 native 模式(裸pi+ 插件安装,pi-native.ts加载的正是同一个工厂)共用它 —— 只注册了/acp,没有/acp-cache。人用命令此前只写进了 billion-context-pi#449(已合并但尚未发 npm stable),所以出现"模型可以用、人用不了"。修法(PR #974)
/acp-cache命令:走既有/__bili/plugin/tool端点转发执行acp_cache,与模型侧同一份报告文本;渲染为持久 custom message(TUI/pi-web 可见),老宿主降级 notify。一处注册同时覆盖启动器模式 + native 模式 + omp。[acp-cache]…[/acp-cache]显式标记里,代理 strip 层(与/acp面板同一机制、三个调用点全过)在进入压缩状态前把它从模型上下文剔除——报告不污染上下文;未包装的报告(比如模型自己经工具产出的)不受影响。选显式标记而非锚定 kernel 输出格式,是因为报告长度可变(行项表最多 512 行)且格式归 acp-kernel 所有。两种压缩模式都走同一条 strip 路径,已分别推演。dist/agent/pi.js产物含新命令。剩余项(不在本 PR)
/acp-cache需要代理侧小改动,如需要我另开 issue。/acp-cache要等下次发布才可用。合并发布后验证方式:
bili pi(或 native pi)先发一条消息,再输入/acp-cache,应看到与模型acp_cache工具完全相同的对账报告。一句话:给 pi/omp 共享薄插件补上了缺失的
/acp-cache人用命令(与模型侧同源数据、持久消息会从模型上下文剥离),预检全绿,待你审查。fix: register /acp-cache command in the pi/omp thin plugin (#800)
Merge pull request #974 from ranxianglei/2026-09-19_acp-cache-command
ranxianglei commentedon Sep 19, 2026
还少一个https://github.com/ranxianglei/billion-context-pi版本的
ranxianglei commentedon Sep 19, 2026
billion-context-pi 的发布已开:**https://github.com/ranxianglei/billion-context-pi/pull/473**(`release v0.1.72
,分支2026-09-19_release-v0.1.72`)。本次发布内容(v0.1.71 之后):
acp_cache模型工具 +/acp-cache人工命令(缓存精确对账:grand ledger、每请求 miss 分解为新增内容/压缩回付/TTL 过期、逐 fold 经济学)acp-kernel pin 保持 0.0.75(已发布且含 #297 cache-report 导出),不往 release commit 里捆绑无关的 kernel 更新。
Pre-flight:typecheck ✓、build ✓;本地测试 750 过 / 80 败——80 个全部是
EACCES ... /tmp/pai-acp-*:本沙箱/tmp是只读挂载,而 bcp 测试硬编码了/tmp路径(环境限制,与本次改动无关;该 commit 仅改 package.json + lockfile 的版本号)。CI runner 的 /tmp 可写,会在 PR 上确认。顺带发现(仅在本线程报告,不另开 issue):bcp 测试硬编码
/tmp绝对路径(如/tmp/pai-acp-export-*),在只读 /tmp 的环境会挂 80 个;建议改用os.tmpdir()/工作区临时目录做环境无关化。下一步:
npm view billion-context-pi version验证。billion-context-pi@0.1.72即有/acp-cache(进程内 kernel 数据,不依赖代理)。/acp-cache走 bili 薄插件——即今天早些开的 bili PR fix: register /acp-cache command in the pi/omp thin plugin (#800) #974(也待你合并),合并后npm i -g billion-context@latest生效。一句话总结:开了 bcp 发布 v0.1.72(PR #473)把 #449 的 /acp-cache 送上 npm,pre-flight 全绿(本地 80 个测试失败系沙箱只读 /tmp 的环境因素);待你合并 #473 与 bili #974,两种模式下的人工命令即完整可用。