You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
DSH(PTC) + OpenAI-Responses via relay: cache hit rate only 76–84% — per-round system prompt jitter Δ≈4.7K chars; after f | DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建 #3904
[warn] upstream prompt-cache collapse: 5 consecutive large requests at ~0% hit (last: input=237930, cached=0) after earlier >=50% hits - the context is being resent cold every turn.
关键证据 2:退化折叠把整段前缀重写
[warn: degenerate-fold] ... covers 87-100% of the live context (~279595/320635 tok) leaving 4 active block(s), anchor~1976 tok - the whole prefix rewrites and the prefix cache restarts from scratch on the next request
关键证据 3:大量 miss 无法归因
61f6f923 unattributed 1.39M(16.8%),provider-side miss 5 samples 367.7K;336336a8 592.6K,2 samples 225.2K,报告直接写 "53% of your stable-prefix re-bill is unnameable provider-side behavior"。按输入尺寸的命中率:40K=60.5%、60K=88.3%、80K=97.2%、100K=96%、120K=96.8%、180K=0%。
changed the title [-]DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建[/-][+]DSH(PTC) + OpenAI-Responses via relay: cache hit rate only 76–84% — per-round system prompt jitter Δ≈4.7K chars; after f | DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建[/+]on Oct 20, 2026
Activity
[-]DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建[/-][+]DSH(PTC) + OpenAI-Responses via relay: cache hit rate only 76–84% — per-round system prompt jitter Δ≈4.7K chars; after f | DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建[/+]ranxianglei commentedon Oct 20, 2026
ework 接单
ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重:不重复。 同症状家族 #3768 已关闭——它的根因是两个已修的 bug(首批次摘要整体折叠 #3759、image id 重铸 #3767,均在 v0.1.202 之前合入),那里的退化折叠只是被动症状。本条跑在 v0.1.202 上,主因是一个 #3768 没有的新机制:宿主 DSH 每轮重建自己的 system prompt。与未关闭的 #3307(unattributed 记账缺口)相关但机制不同。
标签:
dsh+scope/kernel+p2(不打 bug——下面会讲,主因在宿主侧,bili 这边是可做的归因/口径增强而非确认缺陷)。核心判断:主因是宿主行为,不是 bili 缺陷
这条命中率下降的主导成本来自 DSH 自己:每个 turn 边界它把 system prompt 翻转 ±4.7K 字符(增删 5 段
ops_*工具文档),于是每轮边界发生 2 次前缀失效。两条独立证据说明 bili 不是这个抖动的来源:src/compress-tool.ts:602,注释即 "persistent; byte-stable constant",且有回归测试把 no-override 构建产物钉成字节一致)。所以「修复」的主战场在 DSH 侧:让它发的 system prompt 逐轮字节稳定,或至少把易变的工具文档挪到 system 块最末尾(这样前面稳定前缀在翻转时仍能命中)。bili 改不了宿主发什么;bili 能做的是正确归因(已经做了)+ 不额外添乱。
逐条回应你的 5 个点
① 归因拆分(宿主重建 vs 压缩注入抖动)
src/cache-ledger.ts:1086-1170):宿主重写 →prompt桶;bili 自己 mode/projection 翻转 → 单独projection桶,互不混淆。src/fold-reconcile.ts:1978那句fold state unaffected (#1921)回答的是「折叠状态变了吗?——没变」;cache-ledger 的 prompt-switch 归因回答的是「这次 miss 谁造成的?——宿主」。两者正交、都正确,不是同一件事记了两遍。savedSoFar假设「折叠后每个请求都省 (S−σ)」,但若窗口内发生宿主 prompt-switch,那个请求其实没省这么多(整段稳定前缀被重计费)→ 会轻微高估节省。这是真实但小的建模不精确。n*=35.88意味着要 ~36 个折叠后请求才摊得平一次性成本;而它是 8 次折叠里的倒数第二次、贴着会话末尾,后面请求数不够 → 如实判 NOT PAID BACK(报告脚注原话:"early fold or session ended before payback — one-time cost, not data loss")。而且 fold 的成本项T(compRepay) 是干净的:prompt-switch 的重计费落进ttlRepay/prompt桶(cache-ledger.ts:1245),不算进 compRepay。所以抖动并没有污染 fold 的付费成本。savedSoFar精修动的是 kernel(computeFoldEconomics在kernel/src/cache-report.ts)→ 属 owner 决策项,我不擅自动(选项见文末)。② 注入稳定性(固定 bili 注入段)
ops_*文档。③ 折叠策略(保底 anchor / 跳过退化 / 提前折 / 500K 推荐配置)
src/stream.ts:1014)只告警、不拦截、不设下限,这是设计如此(postCtx≈0 的退化折叠会摧毁缓存前缀(shrink 287%/129%,cache ceiling ≥0%) #1911 的可观测标记,供宿主审计/惩罚)。maxContextLimit: 90%→ 折叠要到 ~450K 才触发,一次折掉巨量 → anchor 极小、整段重写。maxContextLimit从 90% 降到 60–70%(约 300–350K),让折叠更早、更小,保住更大的活跃 anchor。这就是对你「500K 中转有无推荐配置」的直接回答——有:降 maxContextLimit。④ 命中率口径(effective prefix hit)
hit% = cached / input;miss 分解已把 new content / compress re-pay / unattributed 分开。effective prefix hit = cached / (input − new)」——这是个新的派生指标:纯增量、诊断性、不加任何 config/env/flag、不改任何现有数字。这是本次唯一无决策依赖的实做项,我会在 host 层加这一行(不动 kernel)并配回归测试,PR 里按「报告新增一行」标注。⑤ lane/proxy 投影差异
compression mode switched= 0,说明本 trace 里 bili 自己的 mode/projection 没翻转,所以 lane 投影差异不是这次抖动来源。projection-flip 检测([Bug] Responses self-heal 切换投影规则后,提示词指纹变化被误归因为宿主改写 #2867)只在 bili 自身投影变化时触发。这次的驱动就是宿主 system-prompt 翻转。结构化八问
maxContextLimit 90%使折叠很晚、每次折掉巨量 → 退化折叠。bili 自身注入字节稳定,不是抖动源。maxContextLimit到 60–70%(立即可用零代码)。fold 回本savedSoFar精修 + 退化折叠策略默认值 = owner 决策项。待你拍板的选项
A. 退化折叠策略(③)
maxContextLimit到 60–70%。立即生效、无风险。src/stream.ts折叠选择 + 测试。B. fold 回本 savedSoFar(①)
T干净、n*数学对得上,不算污染。savedSoFar,把折叠后窗口内被归因为 prompt-switch 的请求从requestsAfter/savedSoFar剔除或折扣。kernel-gated,需你批准并在 PR 声明kernel-change。下一步:我现在就去实现 ④(effective-prefix-hit 指标 + 测试)并开 PR;①/③ 等你对上面选项拍板;②/⑤ 已给证据结论(宿主侧 / 非本 trace 来源)。如果你能补一份
/__bili/diagnostics或某次折叠前后相邻请求的dump-diff,我可以进一步把 ① 的 savedSoFar 影响量化出来。