Skip to content

DSH(PTC) + OpenAI-Responses via relay: cache hit rate only 76–84% — per-round system prompt jitter Δ≈4.7K chars; after f | DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建 #3904

Closed

Description

@lwhguge-dot

环境

  • billion-context v0.1.202 (commit 6deb454),Node v26.8.2,Windows 11 x64
  • 宿主:DeepSeek Harness (DSH),agent preset = ptc,协议 openai-responses
  • 上游:第三方 OpenAI-Responses 兼容中转(下称 relay),模型 gpt-6.1-sol,context 500000
  • 配置:compress: { modelContextLimit: 500000, maxContextLimit: "90%" }
  • 同机另装 dsh-context@0.73.3(bili 面板有“检测到宿主侧插件”提示)

现象

GET /__bili/overview:全局 87%(18 sessions / 1078 req / input 103.8M / cached 90.3M)。
按协议拆:

  • responses(DSH + relay):16 sessions / 755 req / input 71.9M / cached 60.2M / hit 84%,missDropNew 6.7 / missDropComp 1.6 / missDropTtl 8
  • anthropic(直连 api.deepseek.com):2 sessions / 323 req / input 31.9M / cached 30.1M / hit 94%

三个典型 DSH+responses 会话(/__bili/cache-report):

session req input cached hit new comp re-pay unattributed prompt switches
61f6f923 (实现台架部署与回退工具) 84 8.27M 6.30M 76.2% 491.1K 92.6K 1.39M (16.8%) 3(978.8K rebilled,641.3K cold)
336336a8 (LF-2S 上位机参数服务实施) 111 11.20M 9.99M 89.2% 484.1K 129.0K 592.6K 3(276.7K)
b0025cd9 (实现台架串口协议任务七) 71 — — 76% — — — 7(419404 tok)

61f6f923 的 8 次折叠里第 7 次 NOT PAID BACK(S=33.7K, h=0.0%, T=46.1K, dC1=117.3K, n*=35.88);请求 #80–#84 连续 5 次大请求 cached=0:
input = 194.4K / 199.4K / 199.1K / 205.9K / 237.9K。

关键证据 1:DSH 每轮 system prompt 翻转 ~4.7K chars,整段前缀作废

bili.log 在同一会话内来回打印(CST 11:28:48 与 11:29:56,正好是 cache-report 里 #80/#81 两次 prompt switch、hit=0%):

[fold-reconcile] system prompt changed (90413 → 95214 chars); fold state unaffected (#1921)
[fold-reconcile] system prompt changed (95214 → 90413 chars); fold state unaffected (#1921)

对照 DSH 会话转录(每步都会落一条 system/message)测量 system prompt 长度:

turn 1 step 1  len = 87898
turn 1 step 2  len = 92569
turn 2 step 1  len = 87898
turn 2 step 2  len = 92569

diff 这两个版本,差异全部是追加的 5 段 ops_* 工具文档(约 4.67K chars,无删除、无注入段落变化)。也就是说:每个 turn 的第 1 个请求 system prompt 比上一 turn 末尾少约 4.7K 字符,第 2 个 step 又加回来 → 每个 turn 边界都会发生 2 次前缀失效。bili.log 的对应告警:

[warn] upstream prompt-cache collapse: 5 consecutive large requests at ~0% hit (last: input=237930, cached=0) after earlier >=50% hits - the context is being resent cold every turn.

关键证据 2:退化折叠把整段前缀重写

[warn: degenerate-fold] ... covers 87-100% of the live context (~279595/320635 tok) leaving 4 active block(s), anchor~1976 tok - the whole prefix rewrites and the prefix cache restarts from scratch on the next request

关键证据 3:大量 miss 无法归因

61f6f923 unattributed 1.39M(16.8%),provider-side miss 5 samples 367.7K;336336a8 592.6K,2 samples 225.2K,报告直接写 "53% of your stable-prefix re-bill is unnameable provider-side behavior"。按输入尺寸的命中率:40K=60.5%、60K=88.3%、80K=97.2%、100K=96%、120K=96.8%、180K=0%。

对照

同机、同 bili、anthropic 协议 + api.deepseek.com 的会话:命中 94.7–95.0%,miss 只等于新增内容,20/20 次 body 差异全部判为 tail,0 unattributed。问题集中在 responses relay 这条链路。

想请作者确认/修复的点

  1. 归因:system prompt 抖动目前只记日志(fold state unaffected Fold-state reconciliation: classify resent-history divergence (edit/fork/new/system-only) and make compression blocks re-anchorable chain units #1921),但 cache-report 把它计入 host prompt rewrite 与 prompt switches。能否把“宿主每轮重建 system prompt(工具文档增减)”与“压缩注入导致的抖动”分开?否则 fold 的付费回本模型会被这类抖动污染(feat: bili CLI + debug in config + README rewrite #7 直接记为 NOT PAID BACK)。
  2. 注入稳定性:bili 注入的说明段(COMPRESS_PHILOSOPHY / TOOLS / ACP TAGS 等,约 4.8K chars)在 plugin 通道由宿主提示词承载;它若随 lane/turn 变化就会整段失效。能否固定放在稳定前缀(例如固定 system 尾部、会话首请求注入后字节不变)?
  3. 折叠策略:anchor~1976 tok、折叠覆盖 87–100% 上下文后整段重写。能否保底 anchor 大小 / 跳过退化折叠 / 提前折叠?500K 窗口 + maxContextLimit 90% 意味着折叠很晚、每次折掉极多;对 500K 上下文中转是否有推荐配置(如 60–70%)?
  4. 命中率口径:每轮新增 tool 结果必然未命中,头部统计天然偏低。能否并列展示 effective prefix hit = cached / (input - new),并把 prompt-switch 造成的重复计费单列?
  5. 本机 grep bili.log 中 compression mode switched = 0 次,但 plugin/proxy lane 的转发投影差异是否也可能是抖动来源?请帮忙判断。

需要更完整的 /__bili/cache-report、/__bili/diagnostics 或 bili.log 片段可随时补充(已脱敏本机路径与中转域名)。

Activity

  1. changed the title [-]DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建[/-] [+]DSH(PTC) + OpenAI-Responses via relay: cache hit rate only 76–84% — per-round system prompt jitter Δ≈4.7K chars; after f | DSH(PTC) + OpenAI-Responses 中转下命中率仅 76–84%:每轮 system prompt 抖动 Δ≈4.7K chars,折叠后退化整段前缀重建[/+] on Oct 20, 2026
  2. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    ework 接单

  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 同症状家族 #3768 已关闭——它的根因是两个已修的 bug(首批次摘要整体折叠 #3759、image id 重铸 #3767,均在 v0.1.202 之前合入),那里的退化折叠只是被动症状。本条跑在 v0.1.202 上,主因是一个 #3768 没有的新机制:宿主 DSH 每轮重建自己的 system prompt。与未关闭的 #3307(unattributed 记账缺口)相关但机制不同。

    标签:dsh + scope/kernel + p2(不打 bug——下面会讲,主因在宿主侧,bili 这边是可做的归因/口径增强而非确认缺陷)。


    核心判断:主因是宿主行为,不是 bili 缺陷

    这条命中率下降的主导成本来自 DSH 自己:每个 turn 边界它把 system prompt 翻转 ±4.7K 字符(增删 5 段 ops_* 工具文档),于是每轮边界发生 2 次前缀失效。两条独立证据说明 bili 不是这个抖动的来源:

    1. 你自己量出的 diff:两版 system prompt(87898 vs 92569)的唯一差异就是那 5 段工具文档,你明确写了「无删除、无注入段落变化」。
    2. 代码事实:bili 注入的压缩说明段是字节稳定常量(src/compress-tool.ts:602,注释即 "persistent; byte-stable constant",且有回归测试把 no-override 构建产物钉成字节一致)。

    所以「修复」的主战场在 DSH 侧:让它发的 system prompt 逐轮字节稳定,或至少把易变的工具文档挪到 system 块最末尾(这样前面稳定前缀在翻转时仍能命中)。bili 改不了宿主发什么;bili 能做的是正确归因(已经做了)+ 不额外添乱。


    逐条回应你的 5 个点

    ① 归因拆分(宿主重建 vs 压缩注入抖动)

    • 「宿主重写 system prompt」vs「bili 自己的投影翻转」这个拆分已经存在([Bug] Responses self-heal 切换投影规则后,提示词指纹变化被误归因为宿主改写 #2867/[cache-ledger] fold-reconcile 检测到宿主侧系统提示词改写但未接入归因:prompt 改写被误归入未归因 TTL 残差 #2350,src/cache-ledger.ts:1086-1170):宿主重写 → prompt 桶;bili 自己 mode/projection 翻转 → 单独 projection 桶,互不混淆。
    • 你把两个不同检测器叠在一起看了:src/fold-reconcile.ts:1978 那句 fold state unaffected (#1921) 回答的是「折叠状态变了吗?——没变」;cache-ledger 的 prompt-switch 归因回答的是「这次 miss 谁造成的?——宿主」。两者正交、都正确,不是同一件事记了两遍。
    • 真正剩下的一个小局限:折叠回本模型的 savedSoFar 假设「折叠后每个请求都省 (S−σ)」,但若窗口内发生宿主 prompt-switch,那个请求其实没省这么多(整段稳定前缀被重计费)→ 会轻微高估节省。这是真实但小的建模不精确。
    • 一处纠正:你担心的「fold feat: bili CLI + debug in config + README rewrite #7 被抖动污染成 NOT PAID BACK」——按数据看大概率不是污染,而是诚实的『会话结束前没回本』。feat: bili CLI + debug in config + README rewrite #7 的 n*=35.88 意味着要 ~36 个折叠后请求才摊得平一次性成本;而它是 8 次折叠里的倒数第二次、贴着会话末尾,后面请求数不够 → 如实判 NOT PAID BACK(报告脚注原话:"early fold or session ended before payback — one-time cost, not data loss")。而且 fold 的成本项 T(compRepay) 是干净的:prompt-switch 的重计费落进 ttlRepay/prompt 桶(cache-ledger.ts:1245),不算进 compRepay。所以抖动并没有污染 fold 的付费成本。
    • 处置:savedSoFar 精修动的是 kernel(computeFoldEconomics 在 kernel/src/cache-report.ts)→ 属 owner 决策项,我不擅自动(选项见文末)。

    ② 注入稳定性(固定 bili 注入段)

    • bili 的注入段本来就是字节稳定的,你的 diff 也证实了「无注入段落变化」。所以这条链路上 bili 的注入没在变,无需再固定——它已经固定了。那 4.7K 全是你宿主 DSH 的 ops_* 文档。
    • 建议你在 DSH 侧确认两点:(a) 那 5 段文档放在 system prompt 的哪个位置——若在中间(后面还有稳定内容),每次翻转会把它们之后整段一起重哈希;放最末尾则只断尾巴。(b) 能否在同一 turn 内字节稳定(现在 step1→step2 加回、turn 边界又删 = 每轮 2 次失效;理想是整个会话不变)。这两点都是 DSH 的行为。

    ③ 折叠策略(保底 anchor / 跳过退化 / 提前折 / 500K 推荐配置)

    ④ 命中率口径(effective prefix hit)

    ⑤ lane/proxy 投影差异


    结构化八问

    1. 是什么问题:DSH(PTC)+OpenAI-Responses 中转下缓存命中率掉到 76–84%(同机 anthropic 直连 94%),且折叠后退化整段前缀重建。
    2. 什么原因导致的:主因是宿主 DSH 每轮把 system prompt 翻转 ±4.7K(ops_* 工具文档增删),每轮边界 2 次前缀失效;叠加 500K 窗口 + maxContextLimit 90% 使折叠很晚、每次折掉巨量 → 退化折叠。bili 自身注入字节稳定,不是抖动源。
    3. 影响范围与严重程度:仅 DSH+responses 中转链路(anthropic 直连正常);能用但成本高(命中低→多计费),需绕行(降 maxContextLimit + DSH 侧稳定 system prompt)→ p2,非 p1(无数据丢失/泄漏)。
    4. 怎么修复的:bili 侧本次只加 effective-prefix-hit 诊断指标(④);命中率主体靠 (a) DSH 侧让 system prompt 逐轮字节稳定/易变段置尾(宿主行为,非 bili)+ (b) 用户降 maxContextLimit 到 60–70%(立即可用零代码)。fold 回本 savedSoFar 精修 + 退化折叠策略默认值 = owner 决策项。
    5. 是否有回归问题:本次改动仅新增一行报告指标,不改任何既有数字/阈值/时序/输出格式;无高危模式。
    6. 是否破坏缓存:不涉及(纯诊断展示,不碰缓存/重试/增量游标/去重键)。
    7. 是否改了设计方向:不涉及。
    8. 是否引入新配置:不涉及(effective-hit 是派生展示,非新 config/env/flag)。

    待你拍板的选项

    A. 退化折叠策略(③)

    • A1(推荐,零代码):用户降 maxContextLimit 到 60–70%。立即生效、无风险。
    • A2(代码,owner 决策):给退化折叠加「最小活跃 anchor 保底」——当折叠会把 anchor 压到低于阈值(如 <5% 窗口或绝对 token 下限)时少折一些。需定阈值 + 改 src/stream.ts 折叠选择 + 测试。
    • A3(代码,owner 决策):完全跳过退化折叠,留到下次 nudge 再折。风险:可能顶到硬上限触发 preflight 大折叠,反而更糟。

    B. fold 回本 savedSoFar(①)

    • B1(我的倾向):维持现状——fold feat: bili CLI + debug in config + README rewrite #7 的 NOT PAID BACK 是诚实的会话末尾未回本,T 干净、n* 数学对得上,不算污染。
    • B2:精修 savedSoFar,把折叠后窗口内被归因为 prompt-switch 的请求从 requestsAfter/savedSoFar 剔除或折扣。kernel-gated,需你批准并在 PR 声明 kernel-change。

    下一步:我现在就去实现 ④(effective-prefix-hit 指标 + 测试)并开 PR;①/③ 等你对上面选项拍板;②/⑤ 已给证据结论(宿主侧 / 非本 trace 来源)。如果你能补一份 /__bili/diagnostics 或某次折叠前后相邻请求的 dump-diff,我可以进一步把 ① 的 savedSoFar 影响量化出来。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions