Skip to content

[cache-ledger] netSaved 面板在 fold 覆盖坍缩后继续累计虚增——ledger 与实际重发行为无交叉校验 #2202

Closed

Description

@ranxianglei

来源: #2193 分析 [dsh] 原生压缩拦截门 SHAPE 信号失效时发现

现象:#2193 中 dsh 原生压缩在 bili 不知情下落地(拦截门恒假),1510 条 covered id 永久离开 wire,但 web 面板全程继续报 netSaved 355,926,292——正值节省、无任何「基底已毁」线索。

机制分析(代码级已验证):src/web/sessions-data.ts:470-477 的 netSaved/grossSaved 聚合完全来自 per-fold ledger 条目(avoided = (S - sig) * ra,netSaved += avoided - rep - sig,hasFolds 门控),与 fold-reconcile 的覆盖状态零耦合。一旦某 fold 的 covered ids 停止出现在 wire 上(宿主原生压缩 shadowing、客户端批量改写历史等),ledger 仍按旧假设持续累计 avoided:要么那些字节实际是被宿主侧移除的(归属错误——节省应记在 dsh 原生压缩头上而非 bili fold),要么 fold 状态已是死重。ledger 与实际重发行为之间没有任何交叉校验。

影响:误导用户/运维认为 bili 压缩工作正常;掩盖 #2193 这类基底销毁事件(本事件中面板全程显示健康正值)。

建议方向(待 owner 评估):引入 ledger ↔ fold 覆盖一致性检查——例如当 fold-reconcile 判定某 fold 的 covered ids 连续 N 轮缺失且零 reanchor(#2193 的 PR 新增的 episode streak 状态可复用)时,将对应 fold 标记为 coverage-lost:停止或标注其后续 avoided 累计,面板单独呈现该部分。具体语义(立即失效 / 渐进衰减 / 归属改标)需 owner 拍板。属报表层记账完整性的独立机制域,不并入 #2193 的修门 PR。

Activity

  1. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷

    审核结论:issue 成立,代码级验证通过。(基于当前 master e5a0066de;issue 引用的行号是事件时 v0.1.184 的)

    1. 聚合路径与覆盖状态零耦合——确认。src/web/sessions-data.ts:213-223(summaryOf()):netSaved/grossSaved 纯算术来自 metadata.cacheLedger.folds 的 per-fold 条目 {S, sigma, T, requestsAfter}(avoided=(S−σ)×ra),不引用任何 fold-reconcile 状态。
    2. 虚增字节的生产者——定位。src/cache-ledger.ts:567-572(recordCacheSample()):对每个已 elapsed 的 fold(f.at <= s.at),每个 usage sample 无条件 f.requestsAfter += 1,不校验该 fold 的 covered 内容是否仍在实际 off-wire。覆盖坍缩后 avoided 线性增长、永不停止——[dsh] 原生压缩拦截门的 SHAPE 信号(≤4 条消息)在 dsh-compaction-basic 0.2.0-rc.2 上恒假 → 压缩静默落地 → 1510 条 fold 锚点永久失配,连刷 166 条 no-anchor-match 且面板仍报 netSaved 355.9M #2193 的 355,926,292 正是这一项。
    3. 交叉校验信号已存在但未接入记账。reconcileFoldCoverage(src/fold-reconcile.ts:287)每 pass 计算 missing/reanchor/unmatched,四个 wire site 全挂(src/server.ts:3884/4129/4396/4702);相邻的 使用pi 压缩后就提示prompt is too long #1195 drift warn 已做 presence 交叉校验,但它是瞬态的(pendingFoldUsage 门控)、warn-only、不碰 ledger。
    4. 边界检查:computeFoldEconomics/summarizeFoldEconomics 是 kernel 函数(kernel/src/cache-report.ts:271/281-301),但 requestsAfter 是宿主侧输入(src/cache-ledger.ts:868-880)→ 冻结/修正宿主侧 ledger 条目即可同时传导到 web 面板与 /acp-cache,零 kernel 改动,不触 Kernel Boundary。

    层次判断:用户看到的「面板全程正值」是症状;机制是 ledger 把「本次请求受益于 fold F」当作投影记账,从不校验 F 的覆盖事实。#2193 的宿主侧基底销毁只是一个触发场景(客户端批量改写历史等同样适用)。修门(#2193)只防住一个触发源,不改变记账不变量——所以 issue 把它定位为独立记账完整性域、不并入 #2193,是对的。

    方案评估:issue 建议的方向(ledger ↔ 覆盖一致性检查、复用 #2201 的 episode 证据纪律)正确。我把它落成具体设计,给一个推荐包而非选择题:

    ① 修在写入点,不在展示层(§7.3 疏不堵)。把 accrual 条件化到实测覆盖率上:每 pass 按 block 分组 reconcile 结果(present / reclaimed / missing-unmatched——reconcileFoldCoverage 目前只返回 session 级计数,需加 per-block 分组),每个 sample 对该 fold 的增量按该 block「present-or-reclaimed 占比」缩放。性质:健康会话占比 ≡ 1 → 数字与今天逐字节相同(零回归面);丢失后 accrual 立即停止(不需要 N 轮延迟);部分丢失按比例记;恢复后自动续记(无滞回状态机)。

    ② 自校准分类,处理双宿主形态(分析中发现的硬约束)。raw 重发形态(纯 proxy 模式、dsh-native——#2193 证明 dsh 重发 raw)covered ids 正常在场;view-folding 形态(plugin lane——tests/e2e-plugin-grow-compress.test.ts:1-21 证明 codex/MCP 下一个请求带 FOLDED wire,pi/omp 同 KDD#7)covered ids 结构性缺席重发(agent 自己把 raw 区换成了 summary)。若一律按「在场率」判定,plugin lane 全体会话 netSaved 会被清零(严重回归)。故分类:fold 创建后 covered ids 曾观察到在场过 → 受在场校验;从未在场 → view-folding 类,wire 侧不可证,保持现状记账(文档化限制;后续可升级为校验 summary carrier 是否仍被重发)。无需宿主 allowlist,对未来宿主自适应。

    ③ 语义推荐:freeze-on-verified-loss。保留丢失前累计(那些字节确实没被计费),停止丢失后累计。拒绝渐进衰减(衰减曲线无物理依据)和归属改标(我们测不到宿主拿这些字节做了什么,记在 dsh 原生压缩头上是推测)。面板呈现:WebSessionSummary 增加独立字段(coverage-lost fold 数 + 冻结 token 数),单独呈现,不混入 netSaved。

    ④ 阈值只用于呈现/升级,不用于记账:记账直接用实测占比(无阈值,消除滞回边界);面板标注/错误升级复用 #2201 的证据纪律(≥3 连续证据 pass 且规模显著)。

    顺带发现的两个前置问题(同一失败域,列入本 issue checklist):

    七问预答(供拍板参考):

    1. 是什么问题:报表层记账完整性缺陷——ledger 按投影记节省,与实际重发行为无交叉校验。
    2. 什么原因导致:写入点的无条件 requestsAfter += 1(机制),[dsh] 原生压缩拦截门的 SHAPE 信号(≤4 条消息)在 dsh-compaction-basic 0.2.0-rc.2 上恒假 → 压缩静默落地 → 1510 条 fold 锚点永久失配,连刷 166 条 no-anchor-match 且面板仍报 netSaved 355.9M #2193 只是触发场景之一(现象)。
    3. 怎么修复:写入点 accrual 条件化到实测 per-block 覆盖占比 + 自校准双形态分类 + 面板独立呈现。
    4. 回归风险:健康会话两种形态均零变化;唯一行为变更 = 基底销毁事件后 netSaved 不再增长(旧→新:[dsh] 原生压缩拦截门的 SHAPE 信号(≤4 条消息)在 dsh-compaction-basic 0.2.0-rc.2 上恒假 → 压缩静默落地 → 1510 条 fold 锚点永久失配,连刷 166 条 no-anchor-match 且面板仍报 netSaved 355.9M #2193 型 355M 幻影 → 停在丢失前真实值)——这是预期修正,发布时披露。缓存/重试/增量游标不受影响(ledger 纯报表,不驱动压缩决策与前缀缓存)。
    5. 缓存失效策略:不涉及。
    6. 设计方向:不变——与 issue 定位同域,修在 writer。
    7. 新配置:无(不加 env/config 字段;阈值为内部常量)。

    待 owner 拍板:

    1. 是否以推荐包(freeze-on-verified-loss + 占比记账 + 自校准分类 + 面板标注)为实现基线;
    2. B 项处置:我先在 fix(#2193): marker-decisive dsh compaction guard + fold-drift error escalation #2201 分支跑 e2e-plugin-grow-compress 定案,成立则直接补 fix(#2193): marker-decisive dsh compaction guard + fold-drift error escalation #2201 分支,不成立则评论关闭该项;
    3. 时序:实现叠在 fix(#2193): marker-decisive dsh compaction guard + fold-drift error escalation #2201 之上(复用其 episode 状态证据纪律),建议等 fix(#2193): marker-decisive dsh compaction guard + fold-drift error escalation #2201 合并后开工。

    查重完成:open+closed issue/PR 三组关键词(netSaved / cache ledger fold coverage / requestsAfter 累计虚增)检索,无相似条目。

    未动任何代码,等你拍板后开工。

  2. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 跟进上一条回复中的疑点 B(#2201 的 drift-escalation 是否会在健康 plugin 会话上误报)——已实证排除,#2201 无需改动。

    验证过程:在 #2201 分支 tip(66a2cf0b9,含其新增的 early-exit streak 重置提交)上跑了 tests/e2e-plugin-grow-compress.test.ts(hermetic、in-process startServer)。PASS:plugin-grow-a 会话 120 轮内发生约 23 次 fold,全程 零 [fold-reconcile] warn、零 "substrate appears destroyed" error。

    机制(我原怀疑为何不成立):我之前把测试头注释里 "the next model request carries the FOLDED wire" 误读成了 host→proxy 方向。代码事实相反——该测试的 host 持有一个只增不减的 history 数组(tests/e2e-plugin-grow-compress.test.ts:328-366),每轮把全部原始历史(含 covered ids)重发给 bili,且断言明确要求 client history 字节数 > upstream body 峰值的 2 倍(:379-380)。FOLDED 的是 proxy→upstream 方向(bili 用 state.blocks 改写出站、压住上游字节),inbound 始终带全量 raw。因此 reconcileFoldCoverage 每轮都看到 covered ids 在场 → kind=resend/noop → 不告警、不累计 drift。escalation 的触发条件(covered ids 连续缺失且零 reanchor)只在宿主真正丢失/shadow 掉原始历史时成立——即 #2193 dsh 原生压缩那一类事件,正是它应该响的信号。

    顺带排除了一个日志混淆源:setLogCapture 只是并行 tap,log() 无论如何都写 stderr+file(src/logger.ts:249-300),所以 TAP 输出里零行是真实行为,不是被吞掉的日志。另确认 plugin-tool compress 经 executeProxyTool→applyRanges 会把新 block(含 effectiveMessageIds)写回 session.state.blocks(src/stream.ts:384),plugin 会话下 reconcile/ledger 有物可核这一前提成立。

    残留风险(如实标注,暂不扩大行动面):pi/omp 这类 ACP-native agent 自管视图,若某宿主把 covered range 从自己的重发视图里裁掉(仅保留 compress 调用/结果对),bili 的 inbound 会结构性缺这些 id,#2201 escalation 理论上可能误报。目前没有任何已知宿主的流量证据表明存在这种行为(dsh/codex-MCP-shim 均保留 raw:#2193 时间线 + 本次 e2e)。处置:推荐方案里的 "never-present ⇒ 不可验证类" 自校准规则已覆盖记账侧;将来若出现真实流量证据,再按 evidence-permitlist 纪律给告警侧加同样排除。现在不动 #2201。

    当前状态:实现方案(writer 侧 freeze-on-verified-loss + 实测 presence-fraction 记账 + 面板分离呈现;A 项 side-request 防护随 #2202 PR 顺手修)仍在等你拍板。确认后我会基于 #2201 合并后的 master 实施。

  3. ranxianglei commented on Oct 6, 2026

    @ranxianglei
    OwnerAuthor

    同意

  4. ranxianglei commented on Oct 6, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 收到拍板,开工。

    执行计划(按批准包):

    1. 基线:fix(#2193): marker-decisive dsh compaction guard + fold-drift error escalation #2201 当前未合并(origin/master 仍在 e5a0066),分支将叠在 fix(#2193): marker-decisive dsh compaction guard + fold-drift error escalation #2201 tip(66a2cf0b9)之上开发;fix(#2193): marker-decisive dsh compaction guard + fold-drift error escalation #2201 合并后 rebase 到干净 master 再开 PR。
    2. 范围:① writer 侧条件化 accrual(per-block 实测 presence-or-reclaimed 占比缩放 requestsAfter 增量);② 自校准双形态分类(曾在场→受校验;从未在场→保持现状记账,文档化限制);③ freeze-on-verified-loss + 面板独立字段(coverage-lost fold 数 + 冻结 token 数);④ 阈值仅用于面板标注/升级;A 项 side-request 防护作为独立标注 commit 顺手修。
    3. 测试:单测钉住占比记账各分支 + hermetic 复现 [dsh] 原生压缩拦截门的 SHAPE 信号(≤4 条消息)在 dsh-compaction-basic 0.2.0-rc.2 上恒假 → 压缩静默落地 → 1510 条 fold 锚点永久失配,连刷 166 条 no-anchor-match 且面板仍报 netSaved 355.9M #2193 形态(覆盖坍缩后 netSaved 停止增长)。
    4. 开 PR 后按七问体例回复结论。
  5. ranxianglei commented on Oct 6, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    已按拍板的方案实现完毕,PR:**https://github.com/ranxianglei/billion-context/pull/2231**(commit 90bb5d534,基于 #2201 tip 66a2cf0b9 堆叠——两者共用同一条 fold-reconcile 逐轮证据路径,#2201 是报警、本 PR 是记账;#2201 合并后我会 rebase 到干净 master)。

    七问结论

    1. 是什么问题:面板的 netSaved 完全由 ledger 里每 fold 的 requestsAfter 计数器算出,而该计数器对每个已过期的 fold 无条件 +1/样本——它是一句「这次请求享受了该 fold 的节省」的记账声明,但从不验证声明是否仍成立。覆盖坍缩后声明变成虚增。
    2. 什么原因导致的:记账侧(cache-ledger)与证据侧(fold-reconcile 每轮都在分类 covered id 的 present/reclaimed/unmatched)之间零耦合。[dsh] 原生压缩拦截门的 SHAPE 信号(≤4 条消息)在 dsh-compaction-basic 0.2.0-rc.2 上恒假 → 压缩静默落地 → 1510 条 fold 锚点永久失配,连刷 166 条 no-anchor-match 且面板仍报 netSaved 355.9M #2193 中 dsh 原生压缩把 1510 条 covered id 移出 wire 后,证据侧其实每轮都看得见「全缺失」,但没人把这个信号递给出账点——所以 355M 的虚增一路涨到底。
    3. 怎么修复的:在出账点修(疏不堵),复用既有证据:① reconcileFoldCoverage 在现有逐轮分类基础上落一份 per-block 记录 {p,r,t,e} 到 metadata["foldCoverageByBlock"](e = ever-present 闩锁);② ledger fold 加稀疏 bid 链接到 block(recordCacheFoldsFromBlocks 是唯一收口,proxy eager 与 plugin lazy 两条物化路径都覆盖);③ 累加改为实测分数 (p+r)/t:满覆盖=1(与现状逐字节一致)、部分缺失按比例、verified-loss=0 冻结、恢复即续计;④ 面板把 coverage-lost 的 fold 单独呈现(行 tooltip / overview 副行 / detail 副标),不进 headline 数字,冻结前的真实节省仍可见。每 flip 一条 warn/info(去重键保证只报一次)。never-present 类(结构性缺席的 view-folding 宿主)保持原状记账——避免把整类会话的 netSaved 静默清零。
    4. 是否回归问题:健康会话与全部 legacy 账目(无 bid / 无记录)逐字节不变(有测试钉住);内核零改动(computeFoldEconomics 等仍在 kernel 侧,host 只喂 requestsAfter,且已核实所有消费点对浮点数安全);wire/协议/持久化格式无变化。发现并顺手修了一个相邻缺陷(A):reconcile 证据路径原本没有 side-request 门(使用pi 压缩后就提示prompt is too long #1195 的 warn 有 !isTitleGen && len>=10,reconcile 本体没有)——短 pass 会把 order backbone 滚到 side-request ids 上,破坏下一真实 pass 的对齐,把缺失 covered id 直接打成 unmatched,制造幻影 total-loss,同时污染 [dsh] 原生压缩拦截门的 SHAPE 信号(≤4 条消息)在 dsh-compaction-basic 0.2.0-rc.2 上恒假 → 压缩静默落地 → 1510 条 fold 锚点永久失配,连刷 166 条 no-anchor-match 且面板仍报 netSaved 355.9M #2193 漂移升级和新的覆盖记录。现在 <10 消息的 pass 完全不取证据(不动 anchors/backbone/streak/records,也不触发 episode reset——跳过≠恢复)。既有测试夹具从单消息 pass 扩到会话级 pass(生产形态就是全量重发,单消息 pass 不存在于现实)。
    5. 是否破坏缓存:不涉及 KV/prefix cache——纯报表层记账。覆盖记录随 session metadata 持久化,重启后延续;无重试/游标/去重键变化。
    6. 是否改了设计方向:不变向。补的是既有架构里缺的一条边(证据→记账),机制仍是「proxy 执行压缩、ledger 投影收益」的原设计;只是把投影从假设改成实测。
    7. 是否引入新配置:无。没有新 env/config/CLI/用户可见设置,只有内部 metadata 键(foldCoverageByBlock、foldCoverageLostLogged)、稀疏 LedgerFold.bid、web summary 可选字段。CONFIGURATION.md 不需改,PR 正文有 config-surface 声明。

    行为变更披露(旧→新):每个样本对每个过期 fold 的累加,旧=无条件 +1 → 新=实测覆盖分数。健康会话数值逐字节相同;#2193 类基底销毁场景 netSaved 从「继续虚增」变为「冻结在损失发生时的值、覆盖恢复后续计」——这正是修复目的,不是回归。<10 消息的 side-request pass 不再喂 drift/coverage 证据(有意变更,镜像 #1195)。

    测试:定向四套件 73/73 绿(fold-reconcile / fold-drift / cache-ledger / 新增 issue2202-coverage-accrual),typecheck 绿;全量回归交给 CI。TECHNICAL-NOTES.md 增补「Cache-ledger accrual is coverage-conditioned (#2202)」一节。

    判定:可进 review/合并流程(待 CI 绿 + #2201 先合并或一并处理堆叠顺序)。

  6. added a commit that references this issue on Oct 6, 2026
  7. added 3 commits that reference this issue on Oct 6, 2026
  8. added a commit that references this issue on Oct 7, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions