Skip to content

[Bug][storage] Shadow digest drift clears ingest watermark and forces full-tail re-ingest (v0.1.201) #3919

Closed

Description

@sunguangchao1

Description *

问题摘要

在 Windows 上通过 bili Proxy mode 使用 Codex Desktop 的长会话中,bili v0.1.201(storage 模式为 shadow)反复记录 unified replay 与 legacy load view 不一致,并清除 ingest watermark。日志明确说下一次保存会重新 ingest full tail:

[storage] unified shadow DIGEST DRIFT for <session>: unified replay != legacy load view — dropped the ingest watermark, the next save re-ingests the full tail

我确认的是日志和恢复路径所描述的行为;尚未定位具体哪种消息/写入形态触发了 digest 差异,也不能证明缓存下降完全由此导致。

环境

  • bili v0.1.201,commit ff42dcc;Node v24.20.0
  • Windows 10 x64,OS build 19045
  • 客户端:Codex Desktop(当时未记录精确客户端版本)
  • 使用模式:Proxy mode;复现时未设置 storage.unified,运行状态为 requested/effective=shadow,degraded=false
  • 上游/模型:cc-switch 管理的 relay,模型 gpt-6.1-sol;为避免泄露,未附上游主机名
  • 相关设置:BILI_CODEX_COMPACT=intercept;compress.preserveRecentMessages=1;compress.promptPack=lean

观察到的步骤

  1. 在上述环境以默认 shadow 模式运行 bili,并将 Codex Desktop 请求经 Proxy mode 转发。
  2. 在持续多轮、包含压缩/折叠的长会话中正常使用并保存会话。
  3. 检查 bili.log,观察到上述 DIGEST DRIFT 警告。在切换存储模式前,日志中累计有 28 条该类记录(跨观察到的会话);尚未找到确定、可稳定触发的最小复现步骤。
  4. 作为诊断绕过,在启动器中设置 BILI_STORAGE_UNIFIED=legacy 并重启。运行状态随后显示 requested/effective=legacy;此后没有新的 shadow DIGEST DRIFT 记录。这个结果只说明 legacy 绕过了该 shadow 对账路径,不证明根因已修复。

预期与影响

期望 shadow 对账能区分真实状态差异与比较口径差异;如果是实际漂移,恢复应收敛并使后续保存稳定,而不是反复丢弃 watermark、全量重灌。实际日志显示 watermark 被清除且下一次保存重灌 full tail,可能改变发往上游的历史前缀。

缓存影响仅为相关性证据:切换到 legacy 前,活动会话的一段 29 次请求统计为 input=2,957,102、cached=1,171,023(39.6%),其中有 0% 命中请求,也有后续 70% 以上命中。上游缓存 TTL/中转节点、系统提示变化及 fold 重建也会影响结果,因此我不能把这组低命中率单独归因于 DIGEST DRIFT。另有 fold coverage mismatch 告警,但未证明它与本问题同源。

与已有问题的区别及版本说明

能否确认这是否是上述修复之后仍存在的独立 shadow digest-drift 路径?如果需要最新版本上的运行时复现,我可以按建议补测;也欢迎指出应附加哪些无敏感信息的诊断数据。

bili version *

0.1.201 (commit ff42dcc; Node v24.20.0)

Usage mode *

Proxy mode (client manually points its base URL at bili)

Client and version *

Codex Desktop (exact version not captured)

Operating system *

Windows 10 x64 (Windows_NT 10.0.19045, build 19045; not WSL2)

Upstream and model *

cc-switch-managed relay (upstream hostname redacted), model gpt-6.1-sol; Codex metadata reported 1,050,000 tokens, while bili logs showed a 272,000 clamp and 204,000 preflight window

Compression-related config (optional)

At reproduction: storage.unified unset (effective shadow); BILI_CODEX_COMPACT=intercept; compress.preserveRecentMessages=1; compress.promptPack=lean. Diagnostic bypass after reproduction: BILI_STORAGE_UNIFIED=legacy (current runtime).

Log excerpt (strongly recommended)

2026-10-20, bili v0.1.201; session IDs and upstream host redacted:
[storage] unified shadow DIGEST DRIFT for <session>: unified replay != legacy load view — dropped the ingest watermark, the next save re-ingests the full tail
28 such entries had accumulated before switching to legacy. The last observed entry was 2026-10-20T03:02:14.623Z.
Pre-bypass active-session summary: 29 requests, input=2,957,102, cached=1,171,023 (39.60%); included 0% and later >70% hits. Cache causality is not established.

/acp or acp_status output (optional)


Activity

  1. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复 —— 与 #3407、#3285/#3288、#3559/#3841 同属「DIGEST DRIFT」症状家族,但触发机制与三者都不同:#3407 是 blockContents Map 插入顺序(你的构建已含 #3423 修复,我对照 v0.1.201 源码确认两侧 digest 都走了 orderedBlockContents);#3285/#3288 需要进程重启交接做前置条件(你的日志无重启关联);#3559/#3841 发生在 full 模式(你在 shadow)。保持打开,继续 triage。

    标签: bug / codex / scope/storage / p2(缺陷类;涉及 Codex Desktop;统一存储对账路径;p2 而非 p1——shadow 模式下不影响会话可用性与出站字节流,代价是 CPU 开销 + 日志噪音)。

    代码层验证结论(逐行核对你运行的 v0.1.201 = ff42dcc)

    1. 这条日志是设计内的兜底(backstop),不是 unified shadow storage digest drift on long dsh sessions (telemetry-only) | 统一存储影子模式摘要漂移 #3407/[bug] Fold anchor detaches after host restart (parent-gone): hydrated and unified-shadow DIGEST DRIFT within the same second, gap solidifies without self-healing (0.1.197, complementary to #3013 restart path) | [bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补) #3285 修复之后漏掉的独立 bug 路径。 机制:每次保存(ingest)第 1 次和每 20 次做一次采样对账——把 index.db 重放出的视图与 legacy load view 各取一个 digest 比对。而增量 ingest(watermark delta 快速路径)只校验一个边界槽位(旧 tail 的最后一条消息);边界以下(更老的消息)被改写属于该设计明确接受的取舍(见 src/storage/ingest.ts planIngestDelta 注释:"Interior edits BELOW the boundary are the watermark design's accepted trade-off … the sampled verify digest is the backstop")。于是:两次保存之间历史里某条老消息被改写 → delta 放行 → 采样对账抓到 → 清 watermark → 下一次保存全量重灌 → 收敛。你看到的就是这个兜底在反复工作,它每次事件后都正确自愈了(分歧窗口 ≤20 次保存)。
    2. 结构性不对称排查完毕:mergeState 的 14 个 state 字段与 store 侧字段清单逐项一致(含顺序);refs/blocks/ccrJson 的重建两侧对称;未发现 v0.1.201 上会导致"永久不收敛漂移"的结构性原因。你的现象(跨多个会话零星出现、而非钉死在某一会话上反复漂)也符合"外部改写偶发触发"而非结构缺陷的特征。
    3. 缓存影响的更正:shadow 模式下 index.db 是纯写镜像——服务读取路径完全不读它(只有 full 模式才 unified-first 读)。所以 drift→清 watermark→全量重灌这个循环改不了发往上游的字节流;那组 39.6% 的低命中更可能来自 relay TTL/中转节点、系统提示变化、fold 重建(与你自己的保留意见一致)。本问题的实际代价是受影响保存时 O(全量日志) 的序列化+哈希 CPU 开销和错误日志刷屏。
    4. 版本说明:v0.1.202 的存储对账逻辑与 v0.1.201 相同(默认仍是 shadow,你静态检查的结论成立)。master 在其后把默认改成了 full(Storage wrap-up: 6 fixes + switch default mode to full (single PR) | 存储收尾六修 + 缺省模式翻 full(一个 PR 统一处理) #3818)——full 模式下同一个取舍的后果更重(收敛窗口内服务读取来自索引,可能把陈旧 tail 字节发出去),所以下面的加固对新版更有意义。

    疑似触发源(需要你机器的数据确认)

    delta 路径漏检的形态是:旧消息被改写、且改写位置在边界槽位之下、边界槽位本身没变。你的环境里按可能性排序:

    • Codex Desktop 自身的上下文管理在重放时改写/截断老的 tool output 或 reasoning item(包括本地 auto-compact 的后续影响);
    • cc-switch relay 逐跳归一化某些字段(只对部分 item 生效时才会呈现这种"内部变、边界不变"的签名);
    • UI 内编辑历史消息(若客户端支持)。

    BILI_CODEX_COMPACT=intercept 本身不是直接触发源:compaction 事件会让 tail 整体变短,走的是安全的全量 ingest 路径;伪造的 handoff 消息用内容派生的稳定 id,跨请求字节稳定。

    请补充的数据(均不需要敏感信息)

    1. 28 条按 session id 的分布:每个会话漂了几次;有没有任何一个会话连续两次采样都漂(连续 drift = 不收敛签名,会改变我的判断);
    2. 挑一条 drift 记录,给前后 ±50 行 bili.log(session id/上游主机可打码):重点看它之前是否有 compress/fold/nudge 事件、是否同期有 fold coverage mismatch 告警;
    3. 当时 Codex 是否做过 auto-compact(codex rollout 日志里 type:"compacted" 事件)、cc-switch 的中转节点是否在会话中途换过;
    4. 方便的话贴 /__bili/status 的输出或面板截图(含 verifyDrift 计数与 lastError)。

    我会做的事(无决策依赖,立即开工)

    现在日志只说"有差异",不说"差异在哪",现场诊断只能猜。我会:

    1. 给对账点加取证:drift 发生时记录是哪个维度分叉(state / blocks / tail 消息 / refs / ccr),tail 消息分叉时记录首个分叉槽位的下标 + 两侧的 msgId/role/长度/内容指纹(不写消息正文进日志);同一会话连续 drift 打单独标记;
    2. 给 delta 路径加一个廉价前缀探针:除最后一条外再校验第一条消息的身份(prefix 型改写当场 fail-soft 转全量,分歧窗口从 ≤20 次保存缩到 0;零风险——最坏只是把部分增量转成全量,即今天自愈后的稳态)。中间位置的改写仍由采样兜底覆盖。

    回归测试随 PR 一起出,PR 链接稍后贴在这里。

  2. sunguangchao1 commented on Oct 20, 2026

    @sunguangchao1
    Author

    按你列的四项补充本机证据。所有时间均为 UTC,下文 S-A~S-D 是稳定的会话代号,已移除真实 session/request ID、上游主机、密钥、请求头、本机路径和对话/工具输出正文。未上传原始日志、rollout 或数据库。

    先更正原报告的影响判断:同意 shadow 是写镜像,清 watermark / full-tail re-ingest 本身不能证明出站字节被改写。先前的缓存命中率只是同时段观察,不能据此认定 shadow drift 导致缓存下降;下面只报告一致性事件和时间关系。

    1. 28 条的会话分布与“连续采样”限制

    本次重新扫描保留的 bili.log.old 与 bili.log,仅计实际带时间戳、error 等级、session/version 标签的 storage DIGEST DRIFT 记录,排除正文/工具输出中引用的日志。共 28 条,全部在轮转后的 old 文件;当前文件 0 条。

    会话代号 次数 首次 最后一次
    S-A 2 2026-10-19T02:50:23.604Z 2026-10-19T03:03:56.561Z
    S-B 14 2026-10-19T08:30:58.476Z 2026-10-20T02:15:47.751Z
    S-C 5 2026-10-19T07:20:54.643Z 2026-10-19T09:01:37.600Z
    S-D 7 2026-10-20T02:13:43.852Z 2026-10-20T03:20:10.076Z

    原 issue 写的“最后一次 03:02:14.623Z”是较早截取的时间;重新扫描后,实际最后一条是 2026-10-20T03:20:10.076Z。

    能够确认同一会话反复漂移,不能从这批日志确认连续两次 sampled verify 都失败。 v0.1.201 的成功采样只递增内存 verifyOk,没有对应成功日志;失败记录也不包含该会话的 ingest/sample 序号。因此中间可能有成功采样,既不能把相邻错误当作连续失败,也不能据现有记录确认每次都已自愈。切换 legacy 时代理已重启,原 shadow 的内存计数无法从当前 status 恢复。

    28 次事件的完整时间列表(仅会话代号与时间)
    S-A (2):
    2026-10-19T02:50:23.604Z
    2026-10-19T03:03:56.561Z
    
    S-B (14):
    2026-10-19T08:30:58.476Z
    2026-10-19T08:46:03.882Z
    2026-10-19T08:52:38.310Z
    2026-10-19T08:58:28.403Z
    2026-10-19T09:09:47.903Z
    2026-10-19T09:15:24.082Z
    2026-10-19T09:19:36.330Z
    2026-10-19T09:22:49.648Z
    2026-10-19T09:25:56.929Z
    2026-10-19T09:28:58.372Z
    2026-10-20T01:56:58.560Z
    2026-10-20T02:03:19.913Z
    2026-10-20T02:11:25.398Z
    2026-10-20T02:15:47.751Z
    
    S-C (5):
    2026-10-19T07:20:54.643Z
    2026-10-19T07:22:19.796Z
    2026-10-19T07:32:21.129Z
    2026-10-19T08:47:26.711Z
    2026-10-19T09:01:37.600Z
    
    S-D (7):
    2026-10-20T02:13:43.852Z
    2026-10-20T02:36:22.643Z
    2026-10-20T02:42:03.855Z
    2026-10-20T02:52:29.656Z
    2026-10-20T03:02:14.623Z
    2026-10-20T03:10:35.498Z
    2026-10-20T03:20:10.076Z
    
    1. 一条 drift 的前后 ±50 个原始物理行

    选取 S-D / 2026-10-20T02:42:03.855Z。下面覆盖原始窗口的 -50~+50 行(共 101 行),保留 19 条相关结构日志;其余 82 行为隐私最小化而省略,并逐段保留行偏移/行数,不冒充连续原始全文。偏移 0 为 drift。

    可见 drift 之前已有 nudge、preflight fold、16 个 covered ID 缺失的 reconcile/coverage 告警;之后又一次 fold,缺口仍是 16。这里的同现关系不证明两者同源。

    脱敏日志窗口(偏移 -50~+50)
    [-50..-40] <11 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [-39] 2026-10-20T02:41:25.554Z [info] [sess=S-D] [v=0.1.201] [S-D] nudge idle: usage=41% (83172/204000), growth=10120/22500 (ref=73052, interval=50000), pendingT1=11912/50000 model=gpt-6.1-sol, reason="max compressible 11912 < threshold 50000; growth 10120 < floor 22500"
    [-38..-35] <4 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [-34] 2026-10-20T02:41:25.583Z [warn] [sess=S-D] [v=0.1.201] [preflight] payload ~366033 tok vs window 204000 (~1.8x) — raising summarization budget 16 -> 29, rounds 16 -> 29
    [-33] 2026-10-20T02:41:25.587Z [info] [sess=S-D] [v=0.1.201] [preflight] round 1/29: payload ~194293 tok vs window 204000 (deficit 0), 1 viable range(s)
    [-32] 2026-10-20T02:41:25.587Z [info] [sess=S-D] [v=0.1.201] [preflight] fold order (largest first outside the recent zone, #2682): m01771:m01773 (11911 tok)
    [-31..-29] <3 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [-28] 2026-10-20T02:41:35.828Z [info] [sess=S-D] [v=0.1.201] [acp-compress-obs] shrink 4% (~11911/294711 tok) foldPoint=m01771 blocks=1 anchor≈4399 tok (6 active blocks, sys excluded) postCtx≈282800 → next-request cache ceiling ≥1%
    [-27..-22] <6 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [-21] 2026-10-20T02:41:35.868Z [warn] [sess=S-D] [v=0.1.201] [S-D] [fold-reconcile] resent history drifted: 16 covered id(s) missing with no anchor match — mutation (content edit invalidates content-hash refs, fold silently lost) or client-side deletion/truncation (benign, message no longer on the wire) (#1921) (~222 tok unfolded in churn region)
    [-20] 2026-10-20T02:41:35.874Z [warn] [sess=S-D] [v=0.1.201] [S-D] [acp-drift] fold coverage mismatch: 405/421 covered message id(s) present in resent history — 16 covered id(s) missing from resent history — mutation (content edit invalidates content-hash refs, fold silently lost) or client-side deletion/truncation (benign, message no longer on the wire); observability complement to the #1328 overflow rescue (#1195)
    [-19..-19] <1 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [-18] 2026-10-20T02:41:35.875Z [info] [sess=S-D] [v=0.1.201] [S-D] nudge idle: usage=35% (71767/204000), growth=-111120.64023670054/22500 (ref=182887.64023670054, interval=50000), pendingT1=0/50000 model=gpt-6.1-sol, reason="max compressible 4796 < threshold 50000; growth -111120.64023670054 < floor 22500"
    [-17..-6] <12 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [-5] 2026-10-20T02:42:03.164Z [info] [sess=S-D] [v=0.1.201] [S-D] [acp-usage] round 1 input=78867 cached=57034 (cache hit 72%) fold=new
    [-4..-1] <4 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [0] 2026-10-20T02:42:03.855Z [error] [sess=S-D] [v=0.1.201] [storage] unified shadow DIGEST DRIFT for S-D: unified replay != legacy load view — dropped the ingest watermark, the next save re-ingests the full tail
    [+1..+7] <7 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [+8] 2026-10-20T02:42:05.715Z [info] [sess=S-D] [v=0.1.201] [S-D] nudge idle: usage=39% (78867/204000), growth=7100/22500 (ref=71767, interval=50000), pendingT1=6314/50000 model=gpt-6.1-sol, reason="max compressible 6314 < threshold 50000; growth 7100 < floor 22500"
    [+9..+12] <4 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [+13] 2026-10-20T02:42:05.739Z [warn] [sess=S-D] [v=0.1.201] [preflight] payload ~377315 tok vs window 204000 (~1.8x) — raising summarization budget 16 -> 30, rounds 16 -> 30
    [+14] 2026-10-20T02:42:05.744Z [info] [sess=S-D] [v=0.1.201] [preflight] round 1/30: payload ~194564 tok vs window 204000 (deficit 0), 1 viable range(s)
    [+15] 2026-10-20T02:42:05.745Z [info] [sess=S-D] [v=0.1.201] [preflight] fold order (largest first outside the recent zone, #2682): m01774:m01777 (6313 tok)
    [+16..+18] <3 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [+19] 2026-10-20T02:42:22.543Z [info] [sess=S-D] [v=0.1.201] [acp-compress-obs] shrink 2% (~6313/305993 tok) foldPoint=m01774 blocks=1 anchor≈5204 tok (7 active blocks, sys excluded) postCtx≈299680 → next-request cache ceiling ≥1%
    [+20..+25] <6 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [+26] 2026-10-20T02:42:22.594Z [warn] [sess=S-D] [v=0.1.201] [S-D] [fold-reconcile] resent history drifted: 16 covered id(s) missing with no anchor match — mutation (content edit invalidates content-hash refs, fold silently lost) or client-side deletion/truncation (benign, message no longer on the wire) (#1921) (~222 tok unfolded in churn region)
    [+27] 2026-10-20T02:42:22.600Z [warn] [sess=S-D] [v=0.1.201] [S-D] [acp-drift] fold coverage mismatch: 409/425 covered message id(s) present in resent history — 16 covered id(s) missing from resent history — mutation (content edit invalidates content-hash refs, fold silently lost) or client-side deletion/truncation (benign, message no longer on the wire); observability complement to the #1328 overflow rescue (#1195)
    [+28..+28] <1 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [+29] 2026-10-20T02:42:22.601Z [info] [sess=S-D] [v=0.1.201] [S-D] nudge idle: usage=36% (73359/204000), growth=-115696.75736106274/22500 (ref=189055.75736106274, interval=50000), pendingT1=0/50000 model=gpt-6.1-sol, reason="max compressible 5601 < threshold 50000; growth -115696.75736106274 < floor 22500"
    [+30..+48] <19 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    [+49] 2026-10-20T02:42:29.530Z [info] [sess=S-D] [v=0.1.201] [S-D] nudge idle: usage=44% (89460/204000), growth=16101/22500 (ref=73359, interval=50000), pendingT1=0/50000 model=gpt-6.1-sol, reason="max compressible 5601 < threshold 50000; growth 16101 < floor 22500"
    [+50..+50] <1 original line(s) omitted: request/transport/tool details; no message bodies, headers, hosts or paths published>
    
    1. Codex compacted 事件与 cc-switch

    只解析了与这四个会话 ID 关联的 8 份本地 rollout JSONL;完整 JSON.parse,没有解析失败,仅提取事件类型、时间及版本字段,不公开 payload 正文。观察窗口为 2026-10-19 起。

    会话代号 rollout 中的 type:"compacted"(UTC)
    S-A 观察窗口内未找到
    S-B 10-19 08:24:53.825;10-20 03:49:10.281、07:21:03.639、09:12:37.449
    S-C 10-19 07:29:46.093
    S-D 10-20 05:07:33.366、08:30:51.734

    另有一处值得核对的不同信号:S-D 首次 drift 前 771 ms,bili 自己检测到 native auto-compaction,但已检查的该会话本地 rollout 没有同一时刻的顶层 type:"compacted"。不能据此补造一个 rollout 事件或断言原因:

    2026-10-20T02:13:43.081Z [warn] [sess=S-D] [v=0.1.201] [S-D] codex local auto-compaction detected (92/355 covered ids retained) — rebasing ACP state onto the compacted history (#2372)
    2026-10-20T02:13:43.852Z [error] [sess=S-D] [v=0.1.201] [storage] unified shadow DIGEST DRIFT for S-D: unified replay != legacy load view — dropped the ingest watermark, the next save re-ingests the full tail
    

    因此,S-D 后面的 6 次 drift 也不能简单等同于 6 次 rollout compacted 事件。compacted 类型本身也不足以区分手动/自动触发。

    版本补充:关联 rollout 的 session_meta 标记 originator="Codex Desktop";较新的文件记录 cli_version=0.162.0-alpha.17.2 / 0.163.0-alpha.10.2,较老文件创建时为 0.140.0-alpha.2 / 0.142.2 / 0.144.2。它们是文件元数据,不能当作每次 drift 当时的桌面应用精确版本。

    cc-switch 保留日志覆盖 2026-10-19 02:28:46Z~2026-10-20 09:10:40Z;其中 02:50:22Z 起的 1,104 条“请求目标”记录使用同一个目标 URL 字符串(主机不公开)。排除“CC Switch started”启动横幅后,未检出明确的切换/故障转移事件。这只能说明本机日志未证明切换,无法看到中转服务内部的账号/节点调度,也不能证明没有隐式轮换。 历史消息是否在 UI 被编辑,现有日志也无法可靠判定。

    1. 当前 /__bili/status(仅安全字段白名单)

    这是绕过后的当前状态,不是出错时的 shadow 计数;2026-10-20T03:35:49.862Z 已重启并切为 legacy,本次未再改配置、切 full、升级或重启。

    {
      "capturedAt": "2026-10-20T09:11:13.2391166Z",
      "version": "0.1.201",
      "diskVersion": "0.1.201",
      "stale": false,
      "inFlight": 1,
      "storage": {
        "requested": "legacy",
        "effective": "legacy",
        "degraded": false,
        "intentionalOptOut": false,
        "reason": null,
        "engine": null,
        "bootstrap": "not-needed",
        "bootstrapFailure": null,
        "cooldownRemainingMs": null,
        "sidecarDisabled": false
      }
    }

    当前 storage 对象没有 verifyDrift / lastError 字段,所以上面没有把它们写成 0/null 冒充历史值。运行模式与历史保存的 session metadata/面板标签也需区分。

    目前最缺的是你计划增加的“首个分叉维度/槽位”和“每会话连续采样结果”证据。现有资料支持重复发生及压缩/coverage 告警同现,尚不足以判定是边界以下内容改写、比较口径差异,还是连续不收敛。请据此继续 triage。

  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    谢谢——四组数据把判断往前推了一大步。先说结论,再说已提交的修复,最后是需要你下一轮补采的内容。

    你的数据确立了什么

    1. 跨会话复现 + 同会话重复确认(S-B 14 次最重,S-C 5、S-D 7、S-A 2);末条时间戳更正为 03:20:10.076Z,已记录。
    2. 最强触发关联:S-D 首次漂移(02:13:43.852)发生在 codex local auto-compaction detected (92/355 covered ids retained) — rebasing ACP state onto the compacted history (#2372) 之后 771 ms;而 S-D 后续 6 次漂移都不紧邻任何 rollout type:"compacted" 事件。这个形态与「Codex Desktop 在本地 auto-compaction / 上下文管理时原地改写旧消息,随后 bili 保存」一致,但单独还不足以定案。
    3. cc-switch 全程无显式 switch/failover 事件,削弱了「中转节点归一化改写」假设(隐式上游轮换仍不能完全排除)。
    4. 同意你自己的判定:现有资料支持「重复发生且与压缩/coverage 告警同现」,但不足以在三个候选里定案(边界以下内容改写 / 比较口径差异 / 连续不收敛)——因为 v0.1.201 的失败日志不说差异在哪,且 verifyOk/verifyDrift 计数只存进程内存,连「连续两次采样是否都失败」都无法从日志恢复。这正是证据缺口。
    5. 确认你的更正:shadow 是写镜像,读路径不经过 index.db,所以清 watermark / 全量重灌不证明出站字节被改写;缓存命中率数字维持相关性证据的定位。

    关于你的原始问题:是,这是 #3407/#3285/#3288 修复之后仍然存在的独立路径(首条回复已给对照),本轮工作就是给它装上诊断并关掉其中一个具体窗口。

    已提交修复:PR #3948

    #3948 (Related: #3919;issue 不关闭,等下一轮运行时数据)

    两部分,各补一个上面的缺口:

    1. 漂移取证:DIGEST DRIFT 发生时,日志追加两个视图分歧的顶层字段;lastMessages 分歧时再给首个分歧槽位序号和两侧该槽的 id/角色/序列化长度/sha8 指纹(永不写消息正文)。同一会话下一次采样仍失败会带 (repeat: ...) 标记——「连续不收敛」从此在日志里直接可见。
    2. 头槽探针:增量 ingest 路径原先只校验边界槽,「从头开始的历史改写」会搭增量路径到下一次采样验证(≤20 次保存)才被抓住;现在同时校验首槽身份,变了就在同一次保存内降级全量 ingest。附带诊断价值:若前缀改写是真因,升级后这类会话应不再产生 DRIFT 日志;反之若还有,就排除这一形态。

    行为变更披露(旧值→新值):

    • DIGEST DRIFT 日志行追加取证段(如 [diverged: lastMessages; tail slot 0: expect h_msg0/user len=67 sha=e24a6f57, got tampered/user len=70 sha=c18830b2])及可能的 (repeat: ...) 标记;原行前缀逐字节不变,现有 grep 不受影响。
    • 首槽被改写的保存从「搭增量路径到下次采样验证(≤20 次保存窗口)」变为「同一次保存内降级全量 ingest」;高变更负载下全量 ingest 次数可能略增。无 wire 协议、持久化格式、配置项、watermark 语义变化。

    下一轮采集(等含此 PR 的版本可用后跑一次)

    1. 用包含 [PR] storage: shadow DIGEST DRIFT now names the diverged dimension and slot; prefix rewrites fail soft at the delta boundary #3948 的构建(或后续包含它的 release)。注意:当前 master 已把默认存储模式翻成 full——为保持与你报告同一车道,请显式设 BILI_STORAGE_UNIFIED=shadow。
    2. 照常跑同样的 Codex Desktop 长会话负载(含压缩/折叠)。
    3. 把新的 DIGEST DRIFT 行原文发我(现在自带 [diverged: ...] 取证与可能的 (repeat:) 标记),外加 /__bili/status 输出——新构建的 status 已有 verifyDrift 与 driftedSessions 字段(v0.1.201 没有,不用补造)。

    判读标准(可先自查):

    • 分歧集中在 lastMessages 且两槽指纹不同 → 客户端确实在边界下改写了历史,backstop 属按设计触发,问题收敛为「Codex Desktop 原地改写的频率与范围」(兼容性话题);
    • 固定某个非 lastMessages 字段总是分歧 → 比较口径真实 bug,我直接修;
    • 任何会话出现 (repeat:) 标记 → 连续不收敛,恢复路径有缺陷,按 bug 处理。

    结构化八问

    1. 是什么问题:shadow 模式采样验证 backstop 反复检测到「unified replay ≠ legacy load view」并清除 watermark、下次保存全量重灌;原日志说不出差异在哪、是否收敛,无法定位根因。
    2. 什么原因导致的:增量 ingest 路径按设计只校验边界槽,边界之下的改写(现有证据指向 Codex Desktop 本地 auto-compaction 原地改写旧消息为主要触发)经增量路径入库,由每 20 次保存一次的采样验证兜住——backstop 本身按设计工作,缺的是诊断能力,使「按设计触发」与「真实缺陷」不可区分。
    3. 影响范围与严重程度:仅影响 shadow 模式 + 会原地改写历史的客户端组合(即你的场景);每次事件自愈合(下次保存全量重灌后收敛),会话全程可用,出站字节不受影响(shadow 不读 index.db);代价是受影响保存上的 O(全量日志) CPU 与日志噪音。p2。
    4. 怎么修复的:失败日志加槽级取证 + 连续失败标记(纯观测,不动修复路径);增量路径加首槽校验,前缀改写同保存内降级全量,收敛窗口从 ≤20 次保存缩到 0。
    5. 是否有回归问题:审过既有行为——digest 契约、watermark 语义、修复路径、CAS 篡改场景(既有套件 16 项测试原样通过)、仅元数据变化的 raw-tail 保存仍走增量(负向对照测试钉住);行为变化只有上面披露的两处。
    6. 是否破坏缓存:不涉及。未触碰前缀缓存路径;shadow 模式下出站字节不变。
    7. 是否改了设计方向:否。backstop 机制与定位不变,只加了观测和一个软降级点。
    8. 是否引入新配置:否。无新 env/配置/默认值。

    收工判定:本 issue 保持打开;PR #3948 待 CI 与人工审核;合入后请按上面步骤跑一轮并把新日志行发来,届时对「按设计触发 vs 真实缺陷」下最终结论。

  4. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    进度同步(无新的技术结论,仅 CI 状态):

    • PR [PR] storage: shadow DIGEST DRIFT now names the diverged dimension and slot; prefix rewrites fail soft at the delta boundary #3948 代码已定稿并推送(两个 commit:漂移取证 + head-slot 探针;后续一个 commit 修 unused-exports 门禁)。
    • 上一轮 CI 全量回归只有一处红:test (windows-latest, node 22, shard 2)。失败的是 tests/dsh-native.test.ts 的 #2604: a failed title POST re-arms the dedup so the next event retries——等 retry POST 等到 15 秒超时(timeout waiting for retry POST)。判定为环境时序抖动而非本 PR 回归,依据:①同一提交下该测试在其余矩阵格(ubuntu ×3、windows node-24)全部通过;②该测试属于 dsh 标题推送去重路径,与本 PR 改动的存储层(src/storage/{ingest,shadow,store}.ts)无交集;③同文件相邻的另外三个 面板会话名与 DSH 实际会话名不一致(hostTitle 通道未覆盖 DSH 车道) #2604 用例在同一 run 里全绿。
    • 已对该 run 触发完整重跑(就地重跑,非新分支/新 commit),当前 19 个 job 中 17 个绿、余下两个长测试 shard 运行中(含上述 windows shard)。跑完我会再跟一条最终 CI 结论。

    对本 issue 本身没有新增待办:仍然等包含 #3948 的构建上、shadow 模式复现后附上的新 DIGEST DRIFT 日志行(现在会带 [diverged: …; tail slot N: …] 取证后缀和 (repeat: …) 标记),那组数据用来区分「边界下内容改写 / 比较口径差异 / 连续不收敛」三种假设。

  5. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    最终 CI 结论(接上一条进度同步):

    • 重跑完成:run 39404045527(PR [PR] storage: shadow DIGEST DRIFT now names the diverged dimension and slot; prefix rewrites fail soft at the delta boundary #3948 的 CI workflow,head 0dd6f221f)全部 job 绿——19 success + 1 skipped(red-signal,仅在测试失败时运行)。先前红的 test (windows-latest, node 22, shard 2) 本次通过,与「一次性时序抖动」判定一致。
    • head commit 上全部 35 个检查项的最新一次运行均为绿(success/skipped)。此前列表里看到的 cancelled 条目是同一时刻一批重复触发的产物,均被后续绿跑覆盖。
    • 分支当前落后 master 16 个提交:全部是 verif 符号验证模块、package-lock URL 修正和文档,与本 PR 触碰的文件(src/storage/{ingest,shadow,store}.ts + 新增测试文件)零交集,GitHub 判定无冲突(mergeable)。因此未 rebase、不重跑一轮 CI。

    状态:PR #3948 代码定稿 + CI 全绿,等待人工 review 与合并(合并由人操作:https://github.com/ranxianglei/billion-context/pull/3948)。

    issue 保持打开:等包含 #3948 的构建上、shadow 模式复现后附上的新 DIGEST DRIFT 日志行(现在带 [diverged: …; tail slot N: expect id/role len sha, got id/role len sha] 取证后缀,连续漂移会多一个 (repeat: …) 标记),那组数据用来在「边界下内容改写 / 比较口径差异 / 连续不收敛」三个假设之间定案。

  6. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    Fixed by PR #3948 (merged): sampled shadow digest drift now logs a structural forensics line (first divergent row / blockContents keys missing from the replay / whether the divergence repeats), and the drift set + repeat signal are surfaced through the storage status wire for the web panel. The watermark-clear heal behavior (#3166) is unchanged. Closing as completed.

  7. sunguangchao1 commented on Oct 23, 2026

    @sunguangchao1
    Author

    补充 #3948 合入后的复测结果(已脱敏,不含中转站 403):

    bili v0.1.204(c87185a0),Node v24.20.0,Windows;BILI_STORAGE_UNIFIED=shadow、BILI_CODEX_COMPACT=intercept。

    统计窗口为本进程启动后的 2026-10-23T02:09:44.122Z 至 2026-10-23T06:26:25.718Z(UTC):记录到 20 条 DIGEST DRIFT,涉及 5 个脱敏会话代号;15 条带有 (repeat: consecutive sampled drift — the views are not converging)。分歧字段为 19 条 state、1 条 blockContents,state;本次扫描的最新漂移记录时间为 2026-10-23T06:24:55.536Z。

    同期 /__bili/status 显示 requested/effective=shadow、degraded=false、verifyDrift=0、driftedSessions=0(采样于 2026-10-23T06:26:25.718Z)。

    按原 Issue 的判据,重复标记意味着连续不收敛;请确认是否应按恢复路径问题继续处理,并说明 status 计数是实时值还是累计值。此结果仅报告 shadow 存储日志,不据此推断出站内容或缓存变化。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions