You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Long-running dsh session (Windows, ecloud/glm-5.3-flash upstream, goal-loop continuation rounds), bili proxy on 127.0.0.1:8787.
Control — default renderTags: "text-only" (21:48–21:54)
5 CACHE SEAM samples, 74.8K tok re-paid, hit 0.0%
divergence at message[6]-[16] — codex 版本压缩后缓存大幅度降低问题 #1548-family render seam: dsh re-renders assistant tags inside history, so the wire body diverges from what bili cached
Yes — the A/B data confirms the tag filtering causes the cache invalidation:
Control (dsh default renderTags="text-only"): 5 CACHE SEAM samples, 74.8K tok re-paid, hit 0.0%, divergence at message[6]-[16] — the wire body diverges exactly where assistant tags are re-rendered inside history.
Treatment (ACP_RENDER_NONE=1 → renderTags="none", history contains no tags): 181 requests, hit 91.2% (7.46M cached / 8.19M input), seams gone; line items stabilize at 90–93.6% right after the one-time 23.2K re-pay at the mode switch.
So the seam is precisely the text-only tag rendering rewriting history; rendering none keeps the history byte-stable and the misses drop to new-content + TTL only. Happy to pull more fold-level line items if useful.
代价面:ref 仍会在内部照常分配(kernel/src/compress.ts:775-777「Refs are always assigned; renderTags only controls which」),nudge 自身携带可压缩区间清单,所以折叠不停摆——你的 7 folds / net +12.8M tok 就是证明。失去的是按 ref 引用单条消息的能力。
两条建议的评估:
文档——合理,现在做。 CONFIGURATION.md(en+zh)现有的 ACP_RENDER_NONE 条目只写了「raw wire study mode / 防 tag echo 泄漏」,缺 dsh seam 这个用途;/acp 页 client 桶归因 tip 也没指到这个开关。我会把两处都补上,定位为「宿主会在自己历史里重渲染 ACP 标签时的缓解手段」+ 明确代价(失去 ref 引用),不做 blanket 推荐。
Activity
ranxianglei commentedon Oct 14, 2026
是否因为标签过滤导致缓存失效? ework进行深入调查
jp20010908 commentedon Oct 14, 2026
Yes — the A/B data confirms the tag filtering causes the cache invalidation:
Control (dsh default renderTags="text-only"): 5 CACHE SEAM samples, 74.8K tok re-paid, hit 0.0%, divergence at
message[6]-[16]— the wire body diverges exactly where assistant tags are re-rendered inside history.Treatment (
ACP_RENDER_NONE=1→ renderTags="none", history contains no tags): 181 requests, hit 91.2% (7.46M cached / 8.19M input), seams gone; line items stabilize at 90–93.6% right after the one-time 23.2K re-pay at the mode switch.So the seam is precisely the text-only tag rendering rewriting history; rendering
nonekeeps the history byte-stable and the misses drop to new-content + TTL only. Happy to pull more fold-level line items if useful.ranxianglei commentedon Oct 14, 2026
感谢作者详细诊断 解决了千古难题
ework 麻烦做几件事情
1.找到标签破裂模式
2.本 issue 存在说明缓存代码证明有漏洞 麻烦给出正确的全域标签缓存定理证明 贴证明过程
3.在不设置环境变量情况下修复
jp20010908 commentedon Oct 14, 2026
感谢确认。三个要求逐项回复,另附基于真实部署链路的建议。
1. 标签破裂模式(render seam pattern)
message[6]-[16]—— 即第一段压缩边界附近。5 个 CACHE SEAM 样本合计 74.8K tok 重付、hit 0.0%,分歧全部落在这个区间。text-only模式下 ACP 标签被渲染为文本,而渲染结果依赖渲染时刻的客户端状态(tokens 近似值如2.1K随统计方式变化、块引用mNNNNN在压缩后重新编号)——同一逻辑消息在不同请求中产生不同字节。压缩发生一次,其后所有历史消息的标签重渲染 → 前缀在压缩标记处字节漂移 → 分歧点之后全部缓存失效。ACP_RENDER_NONE=1→ renderTags="none"):181 → 224 请求,hit 85.6% → 91.9%,seam 消失;miss 稳定在 new content + TTL 两类。2. 全域标签缓存定理(Global Tag-Cache Theorem)与证明
设 history 为消息序列 M=[m₁,…,mₙ],第 j 次请求时 mᵢ 的线上字节为 wᵢ⁽ʲ⁾ = R(mᵢ, tⱼ),R 为渲染函数、tⱼ 为渲染时刻的客户端状态。上游 KV cache 按字节匹配前缀。
定理:设 ℓ = max{m : ∀i≤m, wᵢ⁽ʲ⁾ = wᵢ⁽ʲ′⁾} 为两次请求线上字节的最长公共前缀长度,则命中 tokens = ℓ 对应的 token 数,且 H = ℓ/n。特别地:
证明:上游按字节匹配,第一个分歧字节之后的 KV 全部不可复用(KV cache 前缀依赖逐字节一致性,这是 transformer attention 的结构要求);命中集合恰为公共前缀内的 token。两条方向分别代入 ℓ 的定义即得。∎
实测验证:对照组(text-only,R 依赖 t)hit 0.0%(5 样本 74.8K tok);实验组(none,R 剥离 t 依赖)hit 91.9%——与定理预测一致。
推论 1(归因下界):kernel 只见 wᵢ,不见 R 与 tⱼ ⟹ 无法区分「客户端改写分歧」与「上游 TTL 失效」——归因必须在客户端打点(这就是建议 2 的定理依据)。
推论 2(修复准则):会话级持久信息要么 write-once 固化(写入时定格字节),要么渲染层完全剥离(none);中间态(text-only 依赖运行时状态)最大化失效风险。
3. 不设置环境变量的修复
"none"。ACP 标签是 kernel 注入的元数据,tokens 数值与块引用对模型推理几乎无价值——渲染 none 是零信息损失的缓存友好默认。~/.dsh/config.json加renderTags字段),替代环境变量。4. 基于真实部署链路的建议(bili 8787 → think-bridge 8790 → ecloud,长期运行)
{reports:[{id, report}]}的 report 是渲染好的文本,程序化解析只能正则(我实测 python 侧拿不到 grandLedger 字段)。建议加结构化 JSON 输出(query 参数或 Accept header),grandLedger 字段化。wal_checkpoint(TRUNCATE)或调低 autocheckpoint 阈值(2 天涨 2.5GB 的速度下,磁盘压力会先于压缩收益到来)。message.source缺失做跳过而非 throw。ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重:不重复。 open+closed issue/PR 全检索过 ACP_RENDER_NONE / renderTags / dsh render seam / cache-seam attribution——没有其他条目覆盖这份 A/B 结果或其两条建议。相关条目都是本 issue 引用的机制本身,非重复项:#3023(client 桶归因,已随 #3027 关闭)、#2773(seam-slot 持久化,已随 #2790 关闭)、#1548/#1605(render seam 家族起源)。
机制核实(代码级):
text-only会把 mNNNNN 渲染标签注入重建历史的 text 消息里,四条 wire 路径全部由knobRenderNone()门控(src/server/prepare-openai.ts:69、prepare-anthropic.ts:93、prepare-google.ts:93、prepare-responses.ts:124 + 各 compact 路径)。ACP_RENDER_NONE=1从源头去掉注入,dsh 就没有东西可再渲染 → 字节稳定。你的 A/B 数据(85.6%→91.2%、切换后一次性 23.2K 重付后线项立刻稳在 90–93.6%)与这个机制完全吻合。两条建议的评估:
文档——合理,现在做。 CONFIGURATION.md(en+zh)现有的
ACP_RENDER_NONE条目只写了「raw wire study mode / 防 tag echo 泄漏」,缺 dsh seam 这个用途;/acp 页 client 桶归因 tip 也没指到这个开关。我会把两处都补上,定位为「宿主会在自己历史里重渲染 ACP 标签时的缓解手段」+ 明确代价(失去 ref 引用),不做 blanket 推荐。长期归因——关键发现:第二个选项其实已经实现了。 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027(已合并,随 v0.1.197 发布)的 detectSeam client 分支(src/cache-ledger.ts:822-844)对入站指纹对的任何中段失配触发——insert 或 rewrite 都算,报告文本和 /acp tooltip 里把 "re-render" 明列为示例(
det.attr_client_tip: "insert/rewrite — another host plugin, paste hoisting, re-render")。所以含 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027 的构建上,dsh tag rewrite 本应已记进蓝色 client 桶,而不是 seam-suspect 或 TTL。两个待确认点:文档 PR 稍后贴出。
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
PR 已开:#3208 (Closes #3198)
1. 是什么问题:你的 A/B 实验证明
ACP_RENDER_NONE=1能消除 dsh 渲染缝(命中率 85.6%→91.2%),这个缓解手段此前没有文档化,诊断报告里也不会提示它——用户看到 CLIENT 分桶的缝时不知道有现成开关可用。2. 什么原因导致的:默认
text-only把 mNNNNN 渲染标签注入到重建历史的文本消息里;dsh 在自己的重发历史里重渲染这些标签,两次重发之间字节漂移 → 前缀缓存缝。根因是「注入发生在宿主自己会重渲染的历史里」,不是 bili 重建不忠实。3. 影响范围与严重程度:仅影响会在自己重发历史中重渲染 ACP 标签的宿主(dsh)。纯 token 成本问题(每缝一次重计费、会话命中率掉 ~5pp),无正确性问题。
4. 怎么修复的:四处文档化 + 一处报告提示——CONFIGURATION.md/zh-CN 的
ACP_RENDER_NONE条目与diagnostics.renderNone行补上第三种用法(含代价说明:refs 仍在内部分配、折叠照常工作,失去按 ref 引用单条消息;中途翻转预期恰好一次重放);/acp-cache报告的 CLIENT MID-HISTORY REWRITE 段追加render-tag check (#3198)提示行(仿照既有 #2483 stateful-upstream 提示的位置与体例);web 蓝色 client 桶 chip 的 tooltip 双语同步。测试钉住新提示行。5. 是否有回归问题:审过的既有行为——报告文本仅在 client 桶有样本时多一行;同段标题措辞
insert→insert/rewrite(与代码事实一致,该 arm 对改写也触发;测试用的宽松正则/CLIENT MID-HISTORY REWRITE/仍匹配);i18n 只扩值不加 key,en/zh 键集不变(web-i18n 测试绿)。配置 schema、持久化格式、wire 形态、kernel 均未触碰。定向测试本地 50/50 绿(cache-seam-client-insert / cache-seam-detector / knobs-config-precedence / issue2483-render-strategy / web-i18n),全量交给 CI。6. 是否破坏缓存:不涉及——纯文档与报告文案变更,缓存/重试/游标/去重逻辑零改动。
7. 是否改了设计方向:不涉及。建议 2 的归因半边已在 v0.1.197 随 #3027 落地:seam detector 的 client arm 对中段入站指纹失配(插入或改写)都触发并记入
prov:"client",dsh 重渲染在 ≥v0.1.197 构建里已可与上游 TTL 过期区分。「让 dsh 渲染历史稳定」属 dsh 宿主侧改动,在本仓库边界之外(向上游提交需先经 owner 批准)。8. 是否引入了新的配置:没有——
ACP_RENDER_NONE/diagnostics.renderNone均为既有键,语义未变,只扩了文档。一个待确认项仍开放:你对照组跑的是哪个 bili 版本?若 <v0.1.197 且升级后 client 分桶归因正确,则建议 2 闭环;若在最新构建上仍观察到误归因,请回贴样本,我按流程立 follow-up issue(带来源标记)。
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
直接回答:不是。标签过滤不是缓存失效的原因——过滤只是上游的「泄漏控制层」,缝的制造者在 dsh 对自己持久化历史的重序列化。证据链如下(全部在当前 master 代码级核实):
1. 过滤的作用域到不了缓存字节。 tag-echo 过滤只作用于模型响应流(出站→客户端):流式适配器 ×4(
src/loop/adapter-openai/anthropic/google/responses.ts)、非流路径 ×4(src/stream.ts、stream-openai.ts、stream-google.ts、stream-responses.ts)、plugin passthrough(src/plugin.ts)。它从不触碰客户端重发的历史(入站),也不参与出站请求重建。出站重建 = 入站字节的忠实转发 + 确定性渲染 + 仅尾部易变 slot(nudge/marker/imgNote,≤3 个,append-only 不变量由 #1554 矩阵钉住)。2. 渲染可证确定(
kernel/src/render-refs.ts):pipeline 走renderWithSnapshot——tokens=值首次渲染时冻结、持久化在state.tokenSnapshot、按 ref 永久复用(lines 90–96、127–139);ref 分配无条件且永不复用(kernel 契约);标签形<acp tokens=".." type="..">mNNNNN</acp>是 (ref, snapshot, type) 的纯函数;渲染前还先剥掉自己上次的旧标签(幂等,lines 77–88)。同一入站 → 同一出站中段字节。刚在当前 master 本地跑了tests/cache-friendly-proxy.test.ts:5/5 绿(四条 wire × ≥2 折叠,字节稳定不变量,回归牙当年验证过)。3. 入站侧的剥离也是纯函数。 prepare-* 里的
stripRawStage(panel/status/chain-carrier sentinel,src/marker/engine.ts)只依赖字节本身、无跨请求状态 → 同入站同结果。4. 因此中段分叉的来源只可能是入站 = dsh 两次重发之间的字节不同。 这正是 v0.1.197+(#3027)client arm 度量的东西:入站中段指纹失配 → 记 client 桶,不记 bili seam。机制与你的 A/B 自洽:dsh 持久化历史里之所以有标签形字节,正是因为 bili 把渲染标签注入了请求(text-only)→ 模型在输出里模仿(有文档记录的模仿循环 #206/#673/#1731/#2190)→ 过滤剥掉大部分、但按设计保守释放了一部分(内容保全优先于回声卫生:不可判定的尾部按 prose 放行 #644/#1760)→ 加上 bili 自己注入的引用 ref 的产物(📦 [ACP] 标记 #717、摘要引用)→ 这些泄漏片段进入 dsh 存储 → dsh 的 ACP-aware 重序列化在每次重发间非字节稳定地重渲染它们 → 中段分叉 → 前缀缓存缝。
为什么 renderNone 消除缝——是切断模仿源头,不是「关掉过滤」:请求里没有注入 → 模型无从模仿 → 没有新标签形字节进入 dsh 历史 → 没有东西可重渲染 → 稳定。反讽点:过滤防的是它记录的失败模式(回声无限放大),但它无法把客户端将持久化的字节完全净化——残留的泄漏片段恰恰是 dsh 不稳定重渲染的原料。所以过滤既不造成缝也不阻止缝,只界定回声材料的数量;根因 = 宿主自有历史里含标签形字节 + 宿主重序列化非字节稳定。
一个诚实的边界条件:以上链条成立的前提是对照组的 5 条样本落在 CLIENT 桶(入站分叉)。如果对照组跑的是 ≥v0.1.197 而样本实际记在 SEAM 桶(入站稳定、出站分叉),那链条断裂——意味着还有我没找到的 bili 侧非确定性,我会按流程立 follow-up issue(带来源标记)。请补两样东西定案:① 对照组 bili 版本;②
/acp-cache报告里那 5 条 CACHE SEAM 样本的原始行(含lcpBytes @ message[idx]取证字段)。想要字节级实锤的话:开ACP_DUMP_BODY=1跑一段再bili acp-cache diff <dump目录>看第一个分叉字节序列(#1548 收尾用的就是这套方法)。另注:#1548 本体其实是 proxy 侧 bug(round-2 误剥摘要,#1551 已修)——「#1548 家族」是症状级标签而非机制级标签,机制以分桶归因为准。
结构化八问
收工判定:调查闭环——过滤排除嫌疑,根因定位在宿主侧重序列化;待你补版本号 + 样本行做最终分桶确认(若落 SEAM 桶则立 follow-up)。
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
你的 A/B 确实在行为层面钉死了因果链——但有一个词要纠正,因为它决定这个 issue 怎么收口:消除缝的是关掉标签渲染/注入(renderTags=none),不是标签过滤。过滤的代码路径在两组实验里完全相同,且它只作用于模型响应流、从不参与出站请求重建(上一条回复证据链 ①②③)。你自己对 treatment 组的描述「history contains no tags」就是机制本身:请求里没有注入 → 模型无从模仿 → dsh 历史里没有标签形字节 → 没有东西可重渲染 → 字节稳定。所以结论与上一条一致:缝的生产链 = bili 注入标签(text-only)→ 模仿/引用产物进入 dsh 持久化历史 → dsh 重序列化非字节稳定 → 中段分叉;过滤只是上游泄漏量的控制层,与缝无因果关系。
要把调查侧彻底关账,还差两样数据(它们决定收口方式):
bili --version);/acp-cache输出,含lcpBytes @ message[idx]、prevMsgs→curMsgs、入站指纹分类字段)。为什么重要——分桶归因是判据:
你提的 fold-level line items 有用,前提是带上面这些取证字段。PR #3208(文档侧)保持 open 待 merge;调查侧等这两样数据定案。
docs: document ACP_RENDER_NONE as the dsh render-seam mitigation (#3198)
docs: document ACP_RENDER_NONE as the dsh render-seam mitigation (#3198)
fix: dsh sessions default to renderTags=none without any env var (#3198)
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
@Dog 三项全部处理完毕:③已修复(PR #3208,待合并);①给出可证实边界与剩余缺口;②证明如下——先说结论:无条件的全域定理不存在、也不可能存在;能证的是条件稳定性契约,而本 issue 正是该契约"前件被宿主违反"的实例,不是契约本身被推翻。
① 标签破裂模式
已证实(代码级,两侧源码都查了):
tokens=|<acp |renderTags零命中);其会话持久化是 append-only JSONL(zstd),官方注释「Committed events are never rewritten」——存储层不重写字节。tokens=首次渲染时冻结进 tokenSnapshot 并终身复用(kernel/src/render-refs.ts:90-96,127-139)、入站剥离管线是纯函数(src/marker/engine.ts,四条 prepare 路径同用)。本地重跑字节稳定套件 5/5 绿。<acp ...>被当 HTML 形标记做再归一化(属性/空白/大小写),每条新注入标签的消息在首次重发时付一次重放费——这正好解释 6 分钟 5 个样本、且样本之间命中立刻回到 90%+(mangle-once 动力学)。ACP_DUMP_BODY=1抓两轮 dump 做 diff。仍在等报告者提供;控制组 bili 版本一并要(决定 feat: attribute client-side mid-history rewrites in the cache ledger (#3023) #3027 的客户端归因当时是否在场)。② 缓存稳定性定理(条件式,附证明过程)
定义:第 n 轮入站历史 H_n(宿主发来的字节);ref 映射 R(append-only、编号永不复用——kernel 契约);token 快照 S(每个 ref 首次渲染时冻结);渲染 f(消息,R,S)(纯函数);出站中段消息 O_mid(n)。
引理 1(ref 单调性):R_{n+1} ⊇ R_n,且既有 ref 的指向永不改变。(kernel 契约,golden wire-contract 测试钉死。)
引理 2(渲染冻结):S[ref] 首次赋值后不变 ⇒ 对同一条消息,f 的输出跨轮恒定。(render-refs.ts:90-96 快照分支;127-139 renderWithSnapshot。)
引理 3(剥离纯净性):g(stripRawStage 管线)只依赖输入字节本身,无跨请求状态。(src/marker/engine.ts。)
定理(条件前缀稳定):若 H_{n+1} 在中段所有位置上对 H_n 字节精确扩展(宿主原样重发),则 O_mid(n+1) 对 O_mid(n) 字节精确扩展 ⇒ 上游前缀缓存保持命中(轮间差异仅限尾部追加)。
证明:任取中段第 i 格,其出站字节 = g(f(H_i, R, S))。由假设 H_i 不变;由引理 1,R 对该格的取值不变;由引理 2,S 对该格 ref 的取值不变;由引理 3,g 纯净。四因子皆不变 ⇒ 输出逐字节相等。∎
推论(本 issue 所属类):宿主违反前件(dsh 重序列化使 H_{n+1} 中段 ≠ H_n)时,定理承诺不适用——缝是前件违约,不是证明失效。v0.1.197 起(#3027)ledger 把这类入站漂移记入 CLIENT 桶(host-side insert/rewrite),与上游 TTL 过期区分开。
为何"无条件全域"不可能成立:定理前件涉及宿主行为,bili 无法控制也无法保证。反例类穷举:(a) 宿主自身变化——本 issue(dsh);(b) 上游 TTL 过期——完全在 bili 之外;(c) bili 自己曾破坏过该性质——#1548(round-2 丢 acp_summary,#1551 修)、#2821/#2915(reconcile 误判 destroyed 导致全量展开,已修并有回归测试钉死)。每修一个都进永久 ledger(#1304 只增不缩)。
经验边界:本 issue 的 A/B 就是推论的实测实例——去掉注入标签后,dsh 的重序列化不再产生分歧字节(前件重新成立),命中率 85.6%→91.2%、缝消失、折叠经济无损(净 +12.8M tok)。
③ 不设环境变量的修复(已完成 → PR #3208)
ACP_RENDER_NONE > diagnostics.renderNone > 宿主默认(dsh:true, 其余:false) > false。dsh 会话(x-bili-plugin: dsh头 → stickysession.metadata.pluginAgent)开箱即 none,不需要设任何变量;显式配置(含显式 false)永远压过宿主默认。八问
ACP_RENDER_NONE/diagnostics.renderNone语义增强(显式 false 现在对 dsh 宿主有意义:覆盖新默认),CONFIGURATION.md en+zh 已同步。收工判定:③可合并——PR #3208(两个 commit:docs + fix,同一 issue 同一 PR,mergeable=true),请你合并。①的最终闭合与②推论的现场验证仍等报告者提供控制组版本 + 原始 seam 样本行;按既定升级规则,若数据显示 ≥v0.1.197 构建上误归 SEAM 桶,我立即立项跟进。
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
@jp20010908 收到,更新后的实验数据(224 请求、91.9%)已并入证据链——A/B 本身是干净的。但第 1 项的机制归因与代码事实冲突,而第 2、3 项都建立在这个前提上,逐条校正:
① 机制:三处具体错误
你的表述是「渲染结果依赖渲染时刻的客户端状态(tokens 近似值随统计方式变化、mNNNNN 压缩后重新编号)」。三点都不成立:
tokens=在首次渲染时冻结进state.tokenSnapshot,此后同一 ref 终身复用冻结值(kernel/src/render-refs.ts:90-96, 127-139)。即使非快照模式,countTokens 也是输入字节的纯函数。入站字节相同 ⇒ 渲染字节相同。漂移的真实位置:入站字节本身在两次重发之间变了——即宿主改变了它发来的内容,不是 bili 改变了它渲染的内容。这是可直接观测的:bili 每轮捕获入站指纹,v0.1.197 起(#3027)把中段入站漂移记入 CLIENT 桶(host-side insert/rewrite),不需要客户端打点。你自己的 A/B 也支持这个读法:去掉注入 ⇒ 漂移消失 ⇒ 漂移是「标签形字节存在与否」的函数,即宿主对这些字节的处理造成的。
你观察到「分歧集中在第一段压缩边界附近」与这个机制完全吻合:该区域标签形内容密度最高(折叠标记 + 密集 ref),宿主的再序列化有最多的可改写材料;LCP 语义(你自己的 ℓ 论证)随即让整个后缀重付。
仍未闭合:精确的字节变换形式(哪种归一化)需要现场数据——5 条样本的原始报告行(含 lcpBytes @ message[idx])+ 控制组 bili 版本 +
ACP_DUMP_BODY=1两轮 dump diff。机制类已定,逐字节模式待证。② 定理:真但空转,且推论 1 已过时
③ 修复方案逐项
④ 部署链路建议的路由
待办不变:控制组 bili 版本 + 5 条样本原始报告行(含 lcpBytes);PR #3208 待合并;升级规则照旧——若数据显示 ≥v0.1.197 构建误归 SEAM 桶,立即立项跟进。
ranxianglei commentedon Oct 14, 2026
含代价说明:refs 仍在内部分配、折叠照常工作,失去按 ref 引用单条消息;中途翻转预期恰好一次重放)
这个应该会影响压缩质量?
ranxianglei commentedon Oct 14, 2026
(ai: vllm-qwen/qwen3.8-27b)
@Dog 不影响压缩质量——机制上不需要可见标签,经验上你自己的实验组已经实测过。
机制:折叠不依赖历史里的可见标签
m00150–m00220 topic)。模型发起 compress 要用的 startId/endId 直接从 nudge 读,不需要每条消息旁边挂着标签。经验:你的实验组就是证明
treatment 臂(renderNone)跑了 181→224 请求:7 次折叠、毛省 12.90M tok、重付 90.2K、净 +12.80M,命中率 91.9%——长会话全程折叠经济健康。这是直接测量,不是推断。
真正失去的是什么(诚实代价)
模型不能再「扫一眼历史就看到每条消息的编号」——即在 nudge 清单之外主动按编号引用某条旧消息的能力(比如在正文里随手 cite 一个 mNNNNN)。但折叠、解压、蒸馏这些压缩动作本身所需的全部 ID 都有其他通道送达(nudge 清单 + 块头部),所以损失是引用粒度的人体工学层面,不是压缩能力层面。
一句话:用「逐消息可引用性」换「前缀缓存稳定性」,你的 A/B 测得这笔交换净赚 +12.8M tok + 约 6 个百分点命中率——方向明确有利。
56 remaining items
fix(loop): tag-echo bare-open swallow re-adjudicates on a nested open…
fix(loop): tag-echo bare-open swallow re-adjudicates on a nested open…
fix: re-scan mid-run start after voiding a word-glued orphan ref close (
fix: hold dead-ref units pending the ambiguous tail in the tag-echo f…
fix(ranxianglei#5175): adjudicate the SSE lane's released spans again…
fix(ranxianglei#5175): adjudicate the SSE lane's released spans again…
fix(ranxianglei#5175): adjudicate the SSE lane's released spans again…
fix(ranxianglei#5175): adjudicate the SSE lane's released spans again…
fix(ranxianglei#5175): adjudicate the SSE lane's released spans again…
fix(ranxianglei#5175): adjudicate the SSE lane's released spans again…
test(ranxianglei#5175): pin the last-mile invariant — prose is cut-in…
fix: settle dead carrier openings and dropped-byte line-head state in…
fix: artifact filter no longer swallows the rest of an answer when a …
fix: settle dead carrier openings and dropped-byte line-head state in…