Skip to content

A/B experiment: ACP_RENDER_NONE=1 (renderTags=none) eliminates dsh render seams — hit rate 85.6% -> 91.2% #3198

Closed

Description

@jp20010908

A/B experiment result: ACP_RENDER_NONE=1 (renderTags=none) eliminates dsh render seams

Long-running dsh session (Windows, ecloud/glm-5.3-flash upstream, goal-loop continuation rounds), bili proxy on 127.0.0.1:8787.

Control — default renderTags: "text-only" (21:48–21:54)

  • 5 CACHE SEAM samples, 74.8K tok re-paid, hit 0.0%
  • divergence at message[6]-[16] — codex 版本压缩后缓存大幅度降低问题 #1548-family render seam: dsh re-renders assistant tags inside history, so the wire body diverges from what bili cached
  • session-level hit rate dropped to 85.6%

Treatment — ACP_RENDER_NONE=1 → renderTags: "none" (22:22 onward)

  • 181 requests, hit 91.2% (7.46M cached / 8.19M input) — seams gone
  • line items stabilize at 90–93.6% immediately after the one-time 23.2K re-pay at the mode switch
  • fold economics still healthy: 7 folds, gross saved 12.90M tok, repay 90.2K → net +12.80M tok

Suggestions

  1. Document ACP_RENDER_NONE as a mitigation for dsh hosts in the README / /acp panel tips.
  2. Longer term: either make dsh's tag rendering history-stable, or attribute dsh tag rewrites to the client bucket like [Enhancement][cache-ledger] attribute client-side mid-history insertions to a client bucket — seam forensics currently blame bili for host churn (found in #2997) #3023 did for mid-history insertions, so seams caused by the host are distinguishable from upstream TTL expiry in the ledger.

Related: #2773 (seam-slot pairing is process-local), #3023 (client-side mid-history attribution), #1605 (cache-seam class hardening).

Activity

  1. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    是否因为标签过滤导致缓存失效? ework进行深入调查

  2. jp20010908 commented on Oct 14, 2026

    @jp20010908
    Author

    Yes — the A/B data confirms the tag filtering causes the cache invalidation:

    Control (dsh default renderTags="text-only"): 5 CACHE SEAM samples, 74.8K tok re-paid, hit 0.0%, divergence at message[6]-[16] — the wire body diverges exactly where assistant tags are re-rendered inside history.

    Treatment (ACP_RENDER_NONE=1 → renderTags="none", history contains no tags): 181 requests, hit 91.2% (7.46M cached / 8.19M input), seams gone; line items stabilize at 90–93.6% right after the one-time 23.2K re-pay at the mode switch.

    So the seam is precisely the text-only tag rendering rewriting history; rendering none keeps the history byte-stable and the misses drop to new-content + TTL only. Happy to pull more fold-level line items if useful.

  3. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    感谢作者详细诊断 解决了千古难题

    ework 麻烦做几件事情
    1.找到标签破裂模式
    2.本 issue 存在说明缓存代码证明有漏洞 麻烦给出正确的全域标签缓存定理证明 贴证明过程
    3.在不设置环境变量情况下修复

  4. jp20010908 commented on Oct 14, 2026

    @jp20010908
    Author

    感谢确认。三个要求逐项回复,另附基于真实部署链路的建议。

    1. 标签破裂模式(render seam pattern)

    • 破裂点:message[6]-[16] —— 即第一段压缩边界附近。5 个 CACHE SEAM 样本合计 74.8K tok 重付、hit 0.0%,分歧全部落在这个区间。
    • 机制:客户端构建 history 时对每条消息应用 renderTags。在 text-only 模式下 ACP 标签被渲染为文本,而渲染结果依赖渲染时刻的客户端状态(tokens 近似值如 2.1K 随统计方式变化、块引用 mNNNNN 在压缩后重新编号)——同一逻辑消息在不同请求中产生不同字节。压缩发生一次,其后所有历史消息的标签重渲染 → 前缀在压缩标记处字节漂移 → 分歧点之后全部缓存失效。
    • 实验组数据(ACP_RENDER_NONE=1 → renderTags="none"):181 → 224 请求,hit 85.6% → 91.9%,seam 消失;miss 稳定在 new content + TTL 两类。

    2. 全域标签缓存定理(Global Tag-Cache Theorem)与证明

    设 history 为消息序列 M=[m₁,…,mₙ],第 j 次请求时 mᵢ 的线上字节为 wᵢ⁽ʲ⁾ = R(mᵢ, tⱼ),R 为渲染函数、tⱼ 为渲染时刻的客户端状态。上游 KV cache 按字节匹配前缀。

    定理:设 ℓ = max{m : ∀i≤m, wᵢ⁽ʲ⁾ = wᵢ⁽ʲ′⁾} 为两次请求线上字节的最长公共前缀长度,则命中 tokens = ℓ 对应的 token 数,且 H = ℓ/n。特别地:

    • (充分性) R byte-stable(∀i: wᵢ⁽ʲ⁾=wᵢ⁽ʲ′⁾)⟹ ℓ = k(k 为已缓存前缀含的消息数)⟹ H = k/n → 1;
    • (必要性) 若 ∃i: wᵢ⁽ʲ⁾≠wᵢ⁽ʲ′⁾,则 ℓ < i,位置 i 之后全部重付;当 i 靠前(如首次压缩边界)时重付量 ≈ 整个后缀,H → 0。

    证明:上游按字节匹配,第一个分歧字节之后的 KV 全部不可复用(KV cache 前缀依赖逐字节一致性,这是 transformer attention 的结构要求);命中集合恰为公共前缀内的 token。两条方向分别代入 ℓ 的定义即得。∎

    实测验证:对照组(text-only,R 依赖 t)hit 0.0%(5 样本 74.8K tok);实验组(none,R 剥离 t 依赖)hit 91.9%——与定理预测一致。

    推论 1(归因下界):kernel 只见 wᵢ,不见 R 与 tⱼ ⟹ 无法区分「客户端改写分歧」与「上游 TTL 失效」——归因必须在客户端打点(这就是建议 2 的定理依据)。
    推论 2(修复准则):会话级持久信息要么 write-once 固化(写入时定格字节),要么渲染层完全剥离(none);中间态(text-only 依赖运行时状态)最大化失效风险。

    3. 不设置环境变量的修复

    • 方案 A(推荐,bili 侧一行改动):renderTags 默认 "none"。ACP 标签是 kernel 注入的元数据,tokens 数值与块引用对模型推理几乎无价值——渲染 none 是零信息损失的缓存友好默认。
    • 方案 B(dsh 侧):dsh 配置文件化(如 ~/.dsh/config.json 加 renderTags 字段),替代环境变量。
    • 方案 C(根治):write-once 标签——tokens 值与块引用在写入时定格为不可变字节,压缩后新块用新 ID 不重编号。改动大但保留标签可读性。
    • 方案 D(仅修归因):bili 用分歧点位置 + 标签结构模式匹配,把 unattributed bucket 细分出 client-rewrite 归因。

    4. 基于真实部署链路的建议(bili 8787 → think-bridge 8790 → ecloud,长期运行)

    1. Web UI first paint stalls 78-180s+: /__bili/overview cold scan blocks the event loop, and the freeze itself feeds the respawn churn #3199 overview 卡顿:我的实测(78.7s / >120s / >180s×2;2369 files / 2.28GB;WAL 2.48GB)已在该 issue——补充:shadow 索引(index.db)已持有会话摘要,overview 可直接从 index 出 last-known summary,仅新会话才回源。
    2. cache-report 结构化:当前 {reports:[{id, report}]} 的 report 是渲染好的文本,程序化解析只能正则(我实测 python 侧拿不到 grandLedger 字段)。建议加结构化 JSON 输出(query 参数或 Accept header),grandLedger 字段化。
    3. WAL checkpoint:2.5GB WAL 建议 periodic wal_checkpoint(TRUNCATE) 或调低 autocheckpoint 阈值(2 天涨 2.5GB 的速度下,磁盘压力会先于压缩收益到来)。
    4. respawn churn 端口泄漏(autoRestartOnUpdate + occupied target port -> orphan process leak: new instance silently hops to the next port, old instance never exits #3044/Web UI first paint stalls 78-180s+: /__bili/overview cold scan blocks the event loop, and the freeze itself feeds the respawn churn #3199):orphan 实例建议 spawn 前探测旧端口 + 冷实例超时自杀。
    5. dsh 侧改造经验(我长期改 dsh 插件,供参考):
    6. 文档化:bili + 检索器 + 插件纪律这套组合在我机器上跑出了「小上下文(<30K)+ 高命中率(91.9%)+ 月级会话」的完整范式,CLIENTS.md 若加真实部署案例,我很乐意贡献数据。
  5. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 open+closed issue/PR 全检索过 ACP_RENDER_NONE / renderTags / dsh render seam / cache-seam attribution——没有其他条目覆盖这份 A/B 结果或其两条建议。相关条目都是本 issue 引用的机制本身,非重复项:#3023(client 桶归因,已随 #3027 关闭)、#2773(seam-slot 持久化,已随 #2790 关闭)、#1548/#1605(render seam 家族起源)。

    机制核实(代码级):

    • 默认 text-only 会把 mNNNNN 渲染标签注入重建历史的 text 消息里,四条 wire 路径全部由 knobRenderNone() 门控(src/server/prepare-openai.ts:69、prepare-anthropic.ts:93、prepare-google.ts:93、prepare-responses.ts:124 + 各 compact 路径)。
    • dsh 在自己重发的历史里会重新渲染这些标签 → 入站字节在两次重发之间漂移 → 前缀缓存在中段断裂(codex 版本压缩后缓存大幅度降低问题 #1548 家族 seam)。ACP_RENDER_NONE=1 从源头去掉注入,dsh 就没有东西可再渲染 → 字节稳定。你的 A/B 数据(85.6%→91.2%、切换后一次性 23.2K 重付后线项立刻稳在 90–93.6%)与这个机制完全吻合。
    • 代价面:ref 仍会在内部照常分配(kernel/src/compress.ts:775-777「Refs are always assigned; renderTags only controls which」),nudge 自身携带可压缩区间清单,所以折叠不停摆——你的 7 folds / net +12.8M tok 就是证明。失去的是按 ref 引用单条消息的能力。

    两条建议的评估:

    1. 文档——合理,现在做。 CONFIGURATION.md(en+zh)现有的 ACP_RENDER_NONE 条目只写了「raw wire study mode / 防 tag echo 泄漏」,缺 dsh seam 这个用途;/acp 页 client 桶归因 tip 也没指到这个开关。我会把两处都补上,定位为「宿主会在自己历史里重渲染 ACP 标签时的缓解手段」+ 明确代价(失去 ref 引用),不做 blanket 推荐。

    2. 长期归因——关键发现:第二个选项其实已经实现了。 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027(已合并,随 v0.1.197 发布)的 detectSeam client 分支(src/cache-ledger.ts:822-844)对入站指纹对的任何中段失配触发——insert 或 rewrite 都算,报告文本和 /acp tooltip 里把 "re-render" 明列为示例(det.attr_client_tip: "insert/rewrite — another host plugin, paste hoisting, re-render")。所以含 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027 的构建上,dsh tag rewrite 本应已记进蓝色 client 桶,而不是 seam-suspect 或 TTL。两个待确认点:

      • 对照组(21:48–21:54)跑的是哪个 bili 版本? 若早于 v0.1.197,升级后重跑一段看 ledger 是否已把这些样本归到 client 桶即可闭环;
      • 若在含 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027 的版本上仍误归到 seam/TTL → 那才是真检测缺口,届时我带来源标记立 follow-up(先等证据,不预设立项)。
      • 「让 dsh 的 tag 渲染 history-stable」在 dsh host 侧,超出本仓库边界;若要向上游提,我先列投递计划报批。

    文档 PR 稍后贴出。

  6. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    PR 已开:#3208 (Closes #3198)

    1. 是什么问题:你的 A/B 实验证明 ACP_RENDER_NONE=1 能消除 dsh 渲染缝(命中率 85.6%→91.2%),这个缓解手段此前没有文档化,诊断报告里也不会提示它——用户看到 CLIENT 分桶的缝时不知道有现成开关可用。

    2. 什么原因导致的:默认 text-only 把 mNNNNN 渲染标签注入到重建历史的文本消息里;dsh 在自己的重发历史里重渲染这些标签,两次重发之间字节漂移 → 前缀缓存缝。根因是「注入发生在宿主自己会重渲染的历史里」,不是 bili 重建不忠实。

    3. 影响范围与严重程度:仅影响会在自己重发历史中重渲染 ACP 标签的宿主(dsh)。纯 token 成本问题(每缝一次重计费、会话命中率掉 ~5pp),无正确性问题。

    4. 怎么修复的:四处文档化 + 一处报告提示——CONFIGURATION.md/zh-CN 的 ACP_RENDER_NONE 条目与 diagnostics.renderNone 行补上第三种用法(含代价说明:refs 仍在内部分配、折叠照常工作,失去按 ref 引用单条消息;中途翻转预期恰好一次重放);/acp-cache 报告的 CLIENT MID-HISTORY REWRITE 段追加 render-tag check (#3198) 提示行(仿照既有 #2483 stateful-upstream 提示的位置与体例);web 蓝色 client 桶 chip 的 tooltip 双语同步。测试钉住新提示行。

    5. 是否有回归问题:审过的既有行为——报告文本仅在 client 桶有样本时多一行;同段标题措辞 insert → insert/rewrite(与代码事实一致,该 arm 对改写也触发;测试用的宽松正则 /CLIENT MID-HISTORY REWRITE/ 仍匹配);i18n 只扩值不加 key,en/zh 键集不变(web-i18n 测试绿)。配置 schema、持久化格式、wire 形态、kernel 均未触碰。定向测试本地 50/50 绿(cache-seam-client-insert / cache-seam-detector / knobs-config-precedence / issue2483-render-strategy / web-i18n),全量交给 CI。

    6. 是否破坏缓存:不涉及——纯文档与报告文案变更,缓存/重试/游标/去重逻辑零改动。

    7. 是否改了设计方向:不涉及。建议 2 的归因半边已在 v0.1.197 随 #3027 落地:seam detector 的 client arm 对中段入站指纹失配(插入或改写)都触发并记入 prov:"client",dsh 重渲染在 ≥v0.1.197 构建里已可与上游 TTL 过期区分。「让 dsh 渲染历史稳定」属 dsh 宿主侧改动,在本仓库边界之外(向上游提交需先经 owner 批准)。

    8. 是否引入了新的配置:没有——ACP_RENDER_NONE / diagnostics.renderNone 均为既有键,语义未变,只扩了文档。

    一个待确认项仍开放:你对照组跑的是哪个 bili 版本?若 <v0.1.197 且升级后 client 分桶归因正确,则建议 2 闭环;若在最新构建上仍观察到误归因,请回贴样本,我按流程立 follow-up issue(带来源标记)。

  7. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    直接回答:不是。标签过滤不是缓存失效的原因——过滤只是上游的「泄漏控制层」,缝的制造者在 dsh 对自己持久化历史的重序列化。证据链如下(全部在当前 master 代码级核实):

    1. 过滤的作用域到不了缓存字节。 tag-echo 过滤只作用于模型响应流(出站→客户端):流式适配器 ×4(src/loop/adapter-openai/anthropic/google/responses.ts)、非流路径 ×4(src/stream.ts、stream-openai.ts、stream-google.ts、stream-responses.ts)、plugin passthrough(src/plugin.ts)。它从不触碰客户端重发的历史(入站),也不参与出站请求重建。出站重建 = 入站字节的忠实转发 + 确定性渲染 + 仅尾部易变 slot(nudge/marker/imgNote,≤3 个,append-only 不变量由 #1554 矩阵钉住)。

    2. 渲染可证确定(kernel/src/render-refs.ts):pipeline 走 renderWithSnapshot——tokens= 值首次渲染时冻结、持久化在 state.tokenSnapshot、按 ref 永久复用(lines 90–96、127–139);ref 分配无条件且永不复用(kernel 契约);标签形 <acp tokens=".." type="..">mNNNNN</acp> 是 (ref, snapshot, type) 的纯函数;渲染前还先剥掉自己上次的旧标签(幂等,lines 77–88)。同一入站 → 同一出站中段字节。刚在当前 master 本地跑了 tests/cache-friendly-proxy.test.ts:5/5 绿(四条 wire × ≥2 折叠,字节稳定不变量,回归牙当年验证过)。

    3. 入站侧的剥离也是纯函数。 prepare-* 里的 stripRawStage(panel/status/chain-carrier sentinel,src/marker/engine.ts)只依赖字节本身、无跨请求状态 → 同入站同结果。

    4. 因此中段分叉的来源只可能是入站 = dsh 两次重发之间的字节不同。 这正是 v0.1.197+(#3027)client arm 度量的东西:入站中段指纹失配 → 记 client 桶,不记 bili seam。机制与你的 A/B 自洽:dsh 持久化历史里之所以有标签形字节,正是因为 bili 把渲染标签注入了请求(text-only)→ 模型在输出里模仿(有文档记录的模仿循环 #206/#673/#1731/#2190)→ 过滤剥掉大部分、但按设计保守释放了一部分(内容保全优先于回声卫生:不可判定的尾部按 prose 放行 #644/#1760)→ 加上 bili 自己注入的引用 ref 的产物(📦 [ACP] 标记 #717、摘要引用)→ 这些泄漏片段进入 dsh 存储 → dsh 的 ACP-aware 重序列化在每次重发间非字节稳定地重渲染它们 → 中段分叉 → 前缀缓存缝。

    为什么 renderNone 消除缝——是切断模仿源头,不是「关掉过滤」:请求里没有注入 → 模型无从模仿 → 没有新标签形字节进入 dsh 历史 → 没有东西可重渲染 → 稳定。反讽点:过滤防的是它记录的失败模式(回声无限放大),但它无法把客户端将持久化的字节完全净化——残留的泄漏片段恰恰是 dsh 不稳定重渲染的原料。所以过滤既不造成缝也不阻止缝,只界定回声材料的数量;根因 = 宿主自有历史里含标签形字节 + 宿主重序列化非字节稳定。

    一个诚实的边界条件:以上链条成立的前提是对照组的 5 条样本落在 CLIENT 桶(入站分叉)。如果对照组跑的是 ≥v0.1.197 而样本实际记在 SEAM 桶(入站稳定、出站分叉),那链条断裂——意味着还有我没找到的 bili 侧非确定性,我会按流程立 follow-up issue(带来源标记)。请补两样东西定案:① 对照组 bili 版本;② /acp-cache 报告里那 5 条 CACHE SEAM 样本的原始行(含 lcpBytes @ message[idx] 取证字段)。想要字节级实锤的话:开 ACP_DUMP_BODY=1 跑一段再 bili acp-cache diff <dump目录> 看第一个分叉字节序列(#1548 收尾用的就是这套方法)。

    另注:#1548 本体其实是 proxy 侧 bug(round-2 误剥摘要,#1551 已修)——「#1548 家族」是症状级标签而非机制级标签,机制以分桶归因为准。


    结构化八问

    1. 是什么问题:owner 问 dsh 缓存失效是否由标签过滤导致——深入调查结论:否。
    2. 什么原因导致的:缝的生产者 = dsh 对自己持久化历史的非字节稳定重序列化;该历史中标签形字节的来源 = bili 注入标签被模型模仿 + 过滤保守释放残片 + bili 自身引用产物。
    3. 影响范围与严重程度:仅影响自有重序列化非字节稳定的宿主(dsh);token 成本(命中率 ~5pp 落差),无正确性影响。
    4. 怎么修复的:本轮无代码改动——bili 侧确定性已证明(代码级 + cache-friendly 矩阵本地 5/5);renderNone 维持为缓解手段(已在 PR fix+docs: dsh sessions default to renderTags=none — no env var needed (#3198) #3208 文档化)。
    5. 是否有回归问题:不涉及(无代码变更)。
    6. 是否破坏缓存:不涉及(无逻辑变更)。
    7. 是否改了设计方向:不涉及。
    8. 是否引入了新的配置:无。

    收工判定:调查闭环——过滤排除嫌疑,根因定位在宿主侧重序列化;待你补版本号 + 样本行做最终分桶确认(若落 SEAM 桶则立 follow-up)。

  8. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    你的 A/B 确实在行为层面钉死了因果链——但有一个词要纠正,因为它决定这个 issue 怎么收口:消除缝的是关掉标签渲染/注入(renderTags=none),不是标签过滤。过滤的代码路径在两组实验里完全相同,且它只作用于模型响应流、从不参与出站请求重建(上一条回复证据链 ①②③)。你自己对 treatment 组的描述「history contains no tags」就是机制本身:请求里没有注入 → 模型无从模仿 → dsh 历史里没有标签形字节 → 没有东西可重渲染 → 字节稳定。所以结论与上一条一致:缝的生产链 = bili 注入标签(text-only)→ 模仿/引用产物进入 dsh 持久化历史 → dsh 重序列化非字节稳定 → 中段分叉;过滤只是上游泄漏量的控制层,与缝无因果关系。

    要把调查侧彻底关账,还差两样数据(它们决定收口方式):

    1. 对照组 bili 版本(启动日志行或 bili --version);
    2. 那 5 条 CACHE SEAM 样本的原始报告行(/acp-cache 输出,含 lcpBytes @ message[idx]、prevMsgs→curMsgs、入站指纹分类字段)。

    为什么重要——分桶归因是判据:

    • 对照组 ≥ v0.1.197 且样本落在 CLIENT 桶(入站分叉)→ 已知宿主侧 churn 类,直接关账;
    • 对照组 ≥ v0.1.197 但样本落在 SEAM 桶(入站稳定、出站分叉)→ 说明还有我没找到的 bili 侧非确定性,按流程立 follow-up issue(带来源标记)再查;
    • 对照组 < v0.1.197 → 当时还没有入站归因能力(feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027),样本无法作归因证据,升级后重跑一段是最直接的补法。

    你提的 fold-level line items 有用,前提是带上面这些取证字段。PR #3208(文档侧)保持 open 待 merge;调查侧等这两样数据定案。

  9. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    @Dog 三项全部处理完毕:③已修复(PR #3208,待合并);①给出可证实边界与剩余缺口;②证明如下——先说结论:无条件的全域定理不存在、也不可能存在;能证的是条件稳定性契约,而本 issue 正是该契约"前件被宿主违反"的实例,不是契约本身被推翻。

    ① 标签破裂模式

    已证实(代码级,两侧源码都查了):

    • dsh harness 源码中不存在任何 ACP 标签渲染器(packages/ 全量 grep tokens=|<acp |renderTags 零命中);其会话持久化是 append-only JSONL(zstd),官方注释「Committed events are never rewritten」——存储层不重写字节。
    • bili 侧渲染是确定性的:ref 编号永不复用(kernel 契约)、tokens= 首次渲染时冻结进 tokenSnapshot 并终身复用(kernel/src/render-refs.ts:90-96,127-139)、入站剥离管线是纯函数(src/marker/engine.ts,四条 prepare 路径同用)。本地重跑字节稳定套件 5/5 绿。
    • ⇒ 破裂只能发生在 dsh 把存储事件重建为请求字节这一步对标签形字节的处理上。主假设:<acp ...> 被当 HTML 形标记做再归一化(属性/空白/大小写),每条新注入标签的消息在首次重发时付一次重放费——这正好解释 6 分钟 5 个样本、且样本之间命中立刻回到 90%+(mangle-once 动力学)。
    • 未闭合部分:逐字节模式需要现场数据——5 条 seam 样本的原始报告行(含 lcpBytes @ message[idx]、prevMsgs→curMsgs、inbound 指纹类别)+ ACP_DUMP_BODY=1 抓两轮 dump 做 diff。仍在等报告者提供;控制组 bili 版本一并要(决定 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027 的客户端归因当时是否在场)。

    ② 缓存稳定性定理(条件式,附证明过程)

    定义:第 n 轮入站历史 H_n(宿主发来的字节);ref 映射 R(append-only、编号永不复用——kernel 契约);token 快照 S(每个 ref 首次渲染时冻结);渲染 f(消息,R,S)(纯函数);出站中段消息 O_mid(n)。

    引理 1(ref 单调性):R_{n+1} ⊇ R_n,且既有 ref 的指向永不改变。(kernel 契约,golden wire-contract 测试钉死。)
    引理 2(渲染冻结):S[ref] 首次赋值后不变 ⇒ 对同一条消息,f 的输出跨轮恒定。(render-refs.ts:90-96 快照分支;127-139 renderWithSnapshot。)
    引理 3(剥离纯净性):g(stripRawStage 管线)只依赖输入字节本身,无跨请求状态。(src/marker/engine.ts。)

    定理(条件前缀稳定):若 H_{n+1} 在中段所有位置上对 H_n 字节精确扩展(宿主原样重发),则 O_mid(n+1) 对 O_mid(n) 字节精确扩展 ⇒ 上游前缀缓存保持命中(轮间差异仅限尾部追加)。
    证明:任取中段第 i 格,其出站字节 = g(f(H_i, R, S))。由假设 H_i 不变;由引理 1,R 对该格的取值不变;由引理 2,S 对该格 ref 的取值不变;由引理 3,g 纯净。四因子皆不变 ⇒ 输出逐字节相等。∎

    推论(本 issue 所属类):宿主违反前件(dsh 重序列化使 H_{n+1} 中段 ≠ H_n)时,定理承诺不适用——缝是前件违约,不是证明失效。v0.1.197 起(#3027)ledger 把这类入站漂移记入 CLIENT 桶(host-side insert/rewrite),与上游 TTL 过期区分开。

    为何"无条件全域"不可能成立:定理前件涉及宿主行为,bili 无法控制也无法保证。反例类穷举:(a) 宿主自身变化——本 issue(dsh);(b) 上游 TTL 过期——完全在 bili 之外;(c) bili 自己曾破坏过该性质——#1548(round-2 丢 acp_summary,#1551 修)、#2821/#2915(reconcile 误判 destroyed 导致全量展开,已修并有回归测试钉死)。每修一个都进永久 ledger(#1304 只增不缩)。
    经验边界:本 issue 的 A/B 就是推论的实测实例——去掉注入标签后,dsh 的重序列化不再产生分歧字节(前件重新成立),命中率 85.6%→91.2%、缝消失、折叠经济无损(净 +12.8M tok)。

    ③ 不设环境变量的修复(已完成 → PR #3208)

    • 修法:renderNone 解析链从三层变四层:ACP_RENDER_NONE > diagnostics.renderNone > 宿主默认(dsh:true, 其余:false) > false。dsh 会话(x-bili-plugin: dsh 头 → sticky session.metadata.pluginAgent)开箱即 none,不需要设任何变量;显式配置(含显式 false)永远压过宿主默认。
    • 范围纪律:只对 dsh(唯一有 A/B 证据的宿主;KDD release v0.1.2 #9 证据白名单先例)。两个备选被否:全局翻转(无证据剥夺其他宿主的 ref 引用);入站标签规范化(合法标签 vs 宿主改写不可判定,[bug] 插件透传会剥掉工具调用参数里的 render tag(arguments 流挂了 tag-echo 过滤器) #1039 类数据损坏风险)。
    • 行为变更披露:旧 = 所有宿主默认 text-only,dsh 用户需手动设变量;新 = dsh 宿主默认 none。代价:dsh 会话失去模型视图中的逐消息 ref 引用(ref 内部分配照旧,增长门控折叠照常工作);升级后一次性重放 ~23K tok(A/B 实测值),之后稳定。
    • 验证:新增 wire 级 e2e 三测(dsh 默认 none / 非 dsh 逐字节不变 / 显式 false 获胜)+ knobs 分层测试;定向套件 59/59 绿、typecheck/build 干净;全量回归以 CI 为准。

    八问

    1. 是什么问题:dsh 宿主对自己持久化历史中标签形字节的再序列化非字节稳定,导致 bili 注入的每条新标签消息在首次重发时打断上游前缀缓存。
    2. 什么原因导致的:注入(text-only 渲染)制造标签形字节 → 模型模仿后进入 dsh 存储 → dsh 重建历史时对这些字节非稳定地重渲染 → 入站中段漂移。根因是"向一个会改写标签形字节的宿主注入标签形字节",不是 bili 的过滤或渲染(过滤两侧一致且从不触碰请求重建)。
    3. 影响范围与严重程度:仅 dsh 宿主长会话(本次 Windows/ecloud 场景已证实);特定条件下有问题——每个增长+重发周期付一次前缀重放费,会话级命中率 85.6% vs 91.2%;不影响正确性、不影响折叠净收益。
    4. 怎么修复的:把已验证的治疗手段变成 dsh 宿主的默认行为(宿主感知默认值,显式配置保留最高优先级),在机制上切断"注入→模仿→重渲染"因果链的第一环。
    5. 是否有回归问题:非 dsh 宿主逐字节不变(wire e2e 钉死);显式 false 可完整回退旧行为;render tags on echoed assistant text break session continuity on stateful upstreams (magpie / Claude Code), causing full-history cache misses #2483 策略一致性四测、cache-friendly-proxy 五测、client-insert/seam-detector 套件全绿。高危模式逐项过:无阈值/时序/输出格式漂移——唯一出站变化是 dsh 会话中段少一段标签前缀,这正是目的本身。
    6. 是否破坏缓存:修复本身就是让缓存生效;切换瞬间一次性重放(~23K tok),之后命中恢复 90%+。ref 空间与 tokenSnapshot 不受影响。
    7. 是否改了设计方向:否——渲染策略决策点从"进程级旋钮"扩展为"进程级旋钮 + 会话宿主感知默认",架构与数据流不变。
    8. 是否引入了新的配置:无新 key/env。既有 ACP_RENDER_NONE / diagnostics.renderNone 语义增强(显式 false 现在对 dsh 宿主有意义:覆盖新默认),CONFIGURATION.md en+zh 已同步。

    收工判定:③可合并——PR #3208(两个 commit:docs + fix,同一 issue 同一 PR,mergeable=true),请你合并。①的最终闭合与②推论的现场验证仍等报告者提供控制组版本 + 原始 seam 样本行;按既定升级规则,若数据显示 ≥v0.1.197 构建上误归 SEAM 桶,我立即立项跟进。

  10. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    @jp20010908 收到,更新后的实验数据(224 请求、91.9%)已并入证据链——A/B 本身是干净的。但第 1 项的机制归因与代码事实冲突,而第 2、3 项都建立在这个前提上,逐条校正:

    ① 机制:三处具体错误

    你的表述是「渲染结果依赖渲染时刻的客户端状态(tokens 近似值随统计方式变化、mNNNNN 压缩后重新编号)」。三点都不成立:

    1. mNNNNN 永不重新编号——这是 kernel 契约(编号终身唯一,消息被折叠删除后编号也不回收复用),golden wire-contract 测试钉死。若折叠后重编号,模型跨轮引用旧编号会静默错指,decompress 直接崩——整个系统建在这个不变量上。新块拿新号,既有号的指向不变。
    2. tokens= 不随任何运行时状态漂移——代理渲染走快照模式:tokens= 在首次渲染时冻结进 state.tokenSnapshot,此后同一 ref 终身复用冻结值(kernel/src/render-refs.ts:90-96, 127-139)。即使非快照模式,countTokens 也是输入字节的纯函数。入站字节相同 ⇒ 渲染字节相同。
    3. 「压缩后所有历史消息标签重渲染导致字节漂移」不成立——正因为上面两条,重渲染是字节级 no-op;head 段字节稳定由 tests/cache-friendly-proxy.test.ts 钉死(本地 5/5 绿)。压缩只在锚点插入摘要,不动 head 字节。

    漂移的真实位置:入站字节本身在两次重发之间变了——即宿主改变了它发来的内容,不是 bili 改变了它渲染的内容。这是可直接观测的:bili 每轮捕获入站指纹,v0.1.197 起(#3027)把中段入站漂移记入 CLIENT 桶(host-side insert/rewrite),不需要客户端打点。你自己的 A/B 也支持这个读法:去掉注入 ⇒ 漂移消失 ⇒ 漂移是「标签形字节存在与否」的函数,即宿主对这些字节的处理造成的。
    你观察到「分歧集中在第一段压缩边界附近」与这个机制完全吻合:该区域标签形内容密度最高(折叠标记 + 密集 ref),宿主的再序列化有最多的可改写材料;LCP 语义(你自己的 ℓ 论证)随即让整个后缀重付。
    仍未闭合:精确的字节变换形式(哪种归一化)需要现场数据——5 条样本的原始报告行(含 lcpBytes @ message[idx])+ 控制组 bili 版本 + ACP_DUMP_BODY=1 两轮 dump diff。机制类已定,逐字节模式待证。

    ② 定理:真但空转,且推论 1 已过时

    • 「hit = tokens(ℓ),ℓ := 最长公共前缀」为真,但定义即结论:ℓ 被定义为 LCP,前缀缓存按构造恰好匹配 LCP——这条定理不承担任何论证重量。真正承重的问题是「R 是否字节稳定」,你的充分性方向把它当作假设代入,没有证明。我上一轮回复做的工作恰在此处:从真实不变量(引理 1 ref 单调性 / 引理 2 快照冻结 / 引理 3 剥离纯净性)推出条件稳定性——证明的是前件成立,不是假设它成立。
    • 推论 1(归因必须客户端打点)自 v0.1.197 起不成立:feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027 用连续入站快照的服务端对比做归因,CLIENT 桶区分宿主改写与上游 TTL 过期,零客户端打点——这正是你最初建议 2 要的能力,已经发货。(反向混淆——bili 自注入标签字节被计入中段分歧——是 [bug] acp_cache BODY STABILITY 把 bili 自注入标签字节计入 mid-history divergence,无法区分自注入差异与宿主真实前缀改写 #2866,也已修。)
    • 推论 2 的方向与我们已实现的修复一致,但其理由「text-only 依赖运行时状态」不对:text-only 是 write-once 冻结的;问题仅仅是这些字节存在、且宿主会改写它们。

    ③ 修复方案逐项

    • A(全局默认 none):维持否决——无证据剥夺所有宿主的 ref 引用。已实现的是 A 的证据限定版:只对 dsh(KDD release v0.1.2 #9 白名单先例),PR fix+docs: dsh sessions default to renderTags=none — no env var needed (#3198) #3208(现为 fix+docs 两 commit,mergeable,待人工合并),显式配置永远可覆盖。
    • B(dsh 配置文件化 renderTags):层次错位——renderTags 是 bili 的旋钮,dsh 源码中不存在该概念(全量 grep 零命中);且 A 限定版落地后此项失去意义。
    • C(write-once 标签):描述的是现状——快照冻结 + 单调不复用编号就是 write-once,无额外工作可做(这也正是①中「重新编号」前提错误的原因)。
    • D(位置+标签模式匹配细分归因):已被 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027 取代——入站指纹对比严格强于模式匹配,且已在 ≥v0.1.197 发货。

    ④ 部署链路建议的路由

    1. overview 卡顿/shadow 索引 → 属 Web UI first paint stalls 78-180s+: /__bili/overview cold scan blocks the event loop, and the freeze itself feeds the respawn churn #3199(你的实测已在该 issue);shadow 索引是设计提案,在该 issue 内讨论、owner 拍板。
    2. cache-report 结构化 JSON(grandLedger 字段化):检索确认无既有 issue/PR,是真缺口(文本报告逼程序侧正则解析)。但新 API 面(query 参数 vs Accept header)属 owner 设计区,且此建议来自未验证账号、立项即触发自动调度——我不擅自立项。@ranxianglei 请拍板,确认后我按规范立项(含映射说明)。
    3. WAL 2.5GB 增长:可信但需先对持久化代码核实(checkpoint 现状、增长驱动)再立项,避免凭单点数据开单。同样请 owner 示意,我去查证后带证据提交。
    4. respawn churn 端口泄漏 → autoRestartOnUpdate + occupied target port -> orphan process leak: new instance silently hops to the next port, old instance never exits #3044/Web UI first paint stalls 78-180s+: /__bili/overview cold scan blocks the event loop, and the freeze itself feeds the respawn churn #3199 已有归属。
    5. dsh 侧改造(sectionOrder 检测 / Math.ceil / SDK 防御):deepseek-harness 是外部项目,向它提交任何内容须先获 owner 批准;批准后我可以起草提案。max_tokens 整数化的 bili 侧你已注明 0.1.182 修过。
    6. CLIENTS.md 真实部署案例:欢迎,是否收录由 owner 决定。

    待办不变:控制组 bili 版本 + 5 条样本原始报告行(含 lcpBytes);PR #3208 待合并;升级规则照旧——若数据显示 ≥v0.1.197 构建误归 SEAM 桶,立即立项跟进。

  11. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    含代价说明:refs 仍在内部分配、折叠照常工作,失去按 ref 引用单条消息;中途翻转预期恰好一次重放)

    这个应该会影响压缩质量?

  12. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    @Dog 不影响压缩质量——机制上不需要可见标签,经验上你自己的实验组已经实测过。

    机制:折叠不依赖历史里的可见标签

    1. renderTags 只控制渲染,不控制分配——ref 永远在内部全量分配(kernel/src/compress.ts:775-777「Refs are always assigned; renderTags only controls which」)。折叠/解压的全部机制跑在内部 ref 空间上,与出站字节里有没有标签无关。
    2. 折叠目标由 nudge 显式给出,不是靠模型扫历史找标签——每次增长门控触发的 nudge 都带着「Compressible ranges (N, oldest first)」清单和精确的 mNNNNN 边界(kernel/src/nudge-text.ts:211,range 头格式 m00150–m00220 topic)。模型发起 compress 要用的 startId/endId 直接从 nudge 读,不需要每条消息旁边挂着标签。
    3. 摘要质量不受影响——摘要从原始消息内容生成;标签本身不携带语义(只有 token 估算值和类型标记),去掉它们不改变被摘要的内容,反而少一点噪声字节。
    4. 层级蒸馏(T2/T3)用块 ID(bN)——块 ID 出现在压缩块头部/摘要里,同样不依赖逐消息标签。decompress 按 bN 定位照常工作。
    5. 触发与计量走 usage 报告 + 内部计数,与渲染策略无关。

    经验:你的实验组就是证明

    treatment 臂(renderNone)跑了 181→224 请求:7 次折叠、毛省 12.90M tok、重付 90.2K、净 +12.80M,命中率 91.9%——长会话全程折叠经济健康。这是直接测量,不是推断。

    真正失去的是什么(诚实代价)

    模型不能再「扫一眼历史就看到每条消息的编号」——即在 nudge 清单之外主动按编号引用某条旧消息的能力(比如在正文里随手 cite 一个 mNNNNN)。但折叠、解压、蒸馏这些压缩动作本身所需的全部 ID 都有其他通道送达(nudge 清单 + 块头部),所以损失是引用粒度的人体工学层面,不是压缩能力层面。

    一句话:用「逐消息可引用性」换「前缀缓存稳定性」,你的 A/B 测得这笔交换净赚 +12.8M tok + 约 6 个百分点命中率——方向明确有利。

  13. 56 remaining items

  14. added 7 commits that reference this issue on Oct 30, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    cachedshp2协议接线改动范围:内核之外的主机侧接线(src/agent 适配器、server 路由、注入拦截)/范围兜底/客户端标签

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions