You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
[bug] Fold anchor detaches after host restart (parent-gone): hydrated and unified-shadow DIGEST DRIFT within the same second, gap solidifies without self-healing (0.1.197, complementary to #3013 restart path) | [bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补) #3285
changed the title [-][bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补)[/-][+][bug] Fold anchor detaches after host restart (parent-gone): hydrated and unified-shadow DIGEST DRIFT within the same second, gap solidifies without self-healing (0.1.197, complementary to #3013 restart path) | [bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补)[/+]on Oct 16, 2026
Activity
ranxianglei commentedon Oct 15, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重:不重复。 与 #3013(上游路由切换触发)、#2438(韧性缺口设计)同症状家族(fold 覆盖缺失),但触发路径不同(宿主重启交接),且本 issue 携带一个此前无任何条目的独立缺陷面(unified shadow DIGEST DRIFT)——已检索 open+closed issue/PR,该面既无 issue 也无在途 PR。#3013/#2438 保持打开,本 issue 单独跟踪。
收到,已按版本优先原则在 v0.1.197 tag 上逐段核对代码(不是对着 master 猜),三个面的初步结论如下,①面的修复正在做。
① DIGEST DRIFT 与脱锚不共享起源(回应建议 4)——已验证
shadow 模式下所有会话读取都走 legacy 文件:
src/persist.ts的全部读取点被readsUnified门控(只有 full 模式为真,v0.1.197src/storage/shadow.ts:115),index.db 在该模式下纯诊断写入。所以 DIGEST DRIFT 是独立告警,不是脱锚的原因。但 DIGEST DRIFT 本身是真 bug,机制已定位,且印证了你怀疑清单的第 1、2 条(旧实例还占着端口、两个 build 共存):
last_ingested_seq是「前缀已验证」的凭证但没有写入者标识,新进程直接继承旧进程的信任,对没验证过的前缀走空 delta 快速路径;(b) 全量路径对 messages 表是INSERT OR IGNORE+ 身份保序 remap,从不清理不在当前视图里的行——旧进程留下的孤儿行永久存活(blocks/refs/dead_refs/ccr 四张表都是「权威集合、先删后插」纪律,唯独 messages 例外);修复方案已定:打开 index.db 时重置全部水位线(信任不跨进程继承)+ 全量路径对齐 blocks 的权威集合纪律(清理身份不在当前视图的行并释放其 CAS 引用)。回归测试直接模拟双进程交接场景。PR 稍后给。
② fold 脱锚面:机制核对完成,还差你两条日志证据
[acp-drift]/[fold-reconcile]行?(决定缺口是重启引入的,还是重启前已有、只是这次才注意到)③ #987 窗口判定面:按设计工作,非污染
v0.1.197
src/server/relay.ts:674:overflow-arm 是一次性武装——把上游自己声明的窗口(100000)写进本次会话的紧急收缩基线,代码注释明确「nothing persisted/learned」「declared window unchanged」,下一次成功请求的真实 usage 报告即覆盖它。100000 正是网关对该模型的真实上限:400 原文100001 tokens > 100000 maximum是上游自证,且此前 ~100K 的请求一直通过。nudge 显示 872000 分母是 runtime-info 声明窗口(按设计刻意不变),preflight 用 100000 判定——双分母是有意设计(#987),读起来易混淆但不构成缺陷。你的建议 (3)(拒绝数量级更小的上游声明)反而会伤害「网关配额小于模型标称窗口」这类合法场景,不建议采纳。该会话在 deepseek 路由下 737K est 远超 100K 上限且最多省 35K,fail-fast 502 是正确行为——换 glm-5.3 后立即成功也印证这是每模型的网关配额差异。④ 建议 (1)(2) 的处置
(1) 告警关联:既然已证实两者不同起源,不做告警合并;漂移文案里「host-native compaction」默认猜测的误导问题并入 ② 的比例下限项处理。(2) 重启后锚点自检:不需要单独机制——fold 锚点本来就只存在于各进程从 legacy 文件加载的状态里,不跨进程继承;①修好后统一存储侧也不再有跨进程脏数据。
接下来:先出 ① 的修复 PR(无决策依赖部分先行),② 等你的 Q1/Q2 回复定性。
Betsy20 commentedon Oct 15, 2026
Q1:重启前完全没有任何 drift —— 缺口是重启引入的
结论:重启之前一条都没有。
我把两份日志都完整扫了一遍(不限会话、不限时间):
fold-reconcile/acp-drift命中bili.log.oldbili.logbili.log里那 23 条按类型切开后是:两次启动:
⇒ 首次
DRIFTED出现在第二次启动后 57 秒(03:55:20 → 03:56:17)。此前该会话(4bdb68ec)已稳定运行至少 1 天半(10-13T15:48 就有sysprompt changed,且从未 drift)。另外补一条你没问但相关的:
7f6c20a9在整个日志里从未出现 drift,而它同样经历了这两次重启。所以不是「所有会话重启就脱锚」,而是特定会话 + 特定时刻。三个受影响会话的表征差异:4bdb68eca44cc95c7f6c20a9Q2:DSH 重启后既不是恢复也不是重序列化,而是「断档 + 新回合」
我把
session-a44cc95c的会话文件解出来了(session.v4.jsonl.zstd,5473 个 zstd 帧,解压后 9210 事件 / 62.02 MB),这是原始落盘记录,不是日志推断。证据 1:重启时刻落盘的是两条会话状态事件,接着 6 小时 21 分钟无任何事件
注意
03:53:08.602与 bili 侧parent-gone同一秒区间(bili03:53:18.143收 parent-gone),而第一条新事件要等到 12:03:45 —— 整整 8 小时 10 分钟后。turn 编号也印证是「新回合」而非续接:重启前最后是
turn=12(abortedby user,03:38:29),重启后直接跳到turn=13。证据 2:
turn=12是用户主动中止的,不是崩溃也就是说:用户中止了 turn 12 → 15 分钟后宿主退出重启 → 6 小时后回来发图。重启时那轮没有未落盘的中间结果。
证据 3:重启后没有
compaction/*事件,也没走 checkpoint全库
compaction相关事件统计:0 条(这个会话从头到尾)。所以说「宿主原生压缩落地」在本会话的落盘记录里没有任何依据 —— 你之前那条host-native compaction猜测在两个会话上都对不上(本机 DSH 侧compaction-basic.auto也确实被我显式关掉了)。DSH 侧另有旁证:DSH 崩溃日志只有
crash-2026-10-07T*(即 10-07 那两次),10-15 03:53 那次没有 crash 记录 ⇒ 是正常退出/重启流程。关于你问的「16 个 order break」
那 16 条不是重启造成的 stderr,而是
fold-reconcile的匹配统计:但它的确是结构性的——而且我能告诉你它来自哪:11 小时后的那次模型切换。同一会话的
request/header时间线:关键:
12:03:46那轮的 model / effort / tools 数与重启前逐字相同(296 个工具定义,工具表字节级一致),但 drift 就在这一轮报出来(12:04:01)。⇒ 这不是「重序列化换了编码」——如果只是编码变化,positional和normalized identity至少能认回一部分,可实际是positional: 0、normalized: 1、toolCallId: 0,三条通道全废。这更像历史被整体替换:
329个 covered id 里只剩 1 个能认回。我倾向怀疑是 DSH 在这 8 小时窗口里对--D-~684C~9762-SAN14CE--工作区的会话存储做了一次重写(该会话文件 mtime 在 12:43,但事件时间戳在 03:53 后直接跳到 10:14)。顺带:第二条 drift 会话的
4bdb68ec它是同一工作区、同一时段、同一次重启。如果你想核对它是否同样「重启后长时间静默」,我可以一并解压。
关于 ①②③ 的回应
① 接受你的结论(DIGEST DRIFT 与脱锚不同起源)。我把它当关联线索是过度归因了 —— 你的解释(shadow 模式读走 legacy、index.db 纯诊断写入)直接证否了我的怀疑,而且
readsUnified门控在src/storage/shadow.ts:115是可核对的代码事实。不过有个观察值得你留意:
DIGEST DRIFT与hydrated两次都同秒,且在两次重启上都复现(03:53:21、03:55:25)。如果这是水位线跨进程继承的必然结果,那它的出现频率就等于「每次重启」—— 那么在长会话场景里,用户会经常看到它。你定位的两条根因(水位线无写入者标识、messages 表INSERT OR IGNORE不清理孤儿行)我完全接受;修复 PR 出来后我很乐意在本机验证(我可以复现双进程交接)。② 两点确认:
substrate appears destroyed在 80/8500(0.9%)上 latch,同意是检测质量问题而非行为缺陷。我日志里还有一组更强的比例证据:4bdb68ec的[acp-drift]是8405/8485、8731/8811、9524/9604…分子分母同步增长、差值恒 80,也就是那条 0.9% 的缺口从未扩大。这正好支持你「诚实稳态」的判断,也说明 latch 阈值确实该加比例下限。Q1 已答(见上,重启前 0 条)。Q2 已答(见上,断档 + 新 turn,无 compaction 事件、无 checkpoint)。
③ 接受,我的建议 (3) 撤回。 你说得对——「网关配额小于模型标称窗口」是合法场景,我那条建议会误伤。我原本的困惑只是「同一时刻
nudge idle分母 872000、preflight 分母 100000」读起来打架,既然双分母是 #987 的有意设计,那就只是可读性问题,不是缺陷。fail-fast 502我也确认是正确行为(最多省 35K、缺 640K)。④ 接受。特别认同「fold 锚点只存在于各进程从 legacy 文件加载的状态里,不跨进程继承」—— 这与我在 Q2 里看到的落盘证据一致(重启后无 compaction 事件、无锚点重建记录)。①修好后不再有跨进程脏数据,那 (2) 确实不需要。
我可以继续提供的
4bdb68ec做同样分析(同工作区、同一次重启),对比两者为何 80 vs 328。port 18788 held by a same-lane predecessor每次都有)。ranxianglei commentedon Oct 15, 2026
(ai: vllm-qwen/qwen3.8-27b)
两份证据都收到了,是决定性的。jsonl 时间线(turn=12 用户中断于 03:38:29 → 末事件 03:53:08 → end-seed 10:14:04 → image turn=13 12:03:45;全程零 compaction 事件;重启后首个请求 model/effort/tools 逐字节相同)把脱锚归因钉死了:DSH Desktop 更新 + 重启重建并重新发送了历史——bili 收到的是与之前结构不同的历史,各对账通道做了全部能做的(order bracket 救回 1 条),其余 328 条诚实展开、preflight fail-fast 502 停会话。这是 #3013/#2438 的同症状家族(宿主中途改变了重发内容),新触发路径。「重启前零 drift」则确认 DIGEST DRIFT 由重启交接引入。四个面现在都有了结论,修复已提 PR:#3288
八问
last_ingested_seq无 writer 身份,直接信任走 delta)+ index.db 残留行(full ingest 只INSERT OR IGNORE增、从不删)→ 每次抽样 digest 校验永久失败;master 上 b9e82f6 的 heal(drift 时清水位)治不了——清完水位后的 full re-ingest 仍保留残留行。② 脱锚:宿主更新+重启重建了会话历史并重新发送(你的 jsonl 证明无 compaction、无崩溃、请求参数逐字节相同)——宿主侧行为,bili 的检测→全通道对账→升级→诚实展开均按设计工作。shadow 模式读取走 legacy 文件(readsUnifiedgate),DIGEST DRIFT 不影响 fold 锚点加载——你的建议 4 的答案:不同源。BILI_STORAGE_UNIFIED=shadow/full 且发生多进程交接(旧实例未完全退出即重启)的用户:shadow 下诊断信号永久假阳性(ERROR 日志固化);full 下至首次 save 收敛前读取被污染。当前为 opt-in,影响面=开了该 flag 的用户。② 脱锚面:宿主侧重建导致大面积展开→preflight 502 停会话(a44cc95c 实例);bili 侧无缺陷,但「mass missing → substrate destroyed」缺比例门槛(见下)。completeLoggate:folded render view(envelope-only,有界窗口)绝不触发清扫——否则会把 render 窗口外已 intern 的 raw 行删掉(我首版无 gate 实现正是因此打破 sliding folded tail 测试,gate 是承重的)。回归测试已验证:去掉修复红、加上绿。剩余边界(PR 里已记录在案):tail 为 folded-resident 的会话(live save 无 rawTail)无法清扫,其中的外来残留保留(严格优于现状——现状任何类别都不愈合);full 模式 boot 到首次 save 之间的读取可能看到外来字节。
其余判定:
你的 offer:要 4bdb68ec 的解压视图(我想对比它的 80 条与 a44cc95c 的 328 条形状是否都是结构性替换——若是,确认 DSH 两个会话都被重建);本地双进程复现建议等修复发布后做(本 PR 进下一版,你的 v0.1.197 升级前看不到;想提前验证可装下一版全局包)。
结论:DIGEST DRIFT 机制面已修(等 CI + 人工合并);脱锚面归因宿主侧、bili 侧行为符合设计、无需代码改动;#987 面非缺陷。issue 是否关闭由你定夺——三个面的归因都已闭环,可以关;若想等升级后验证双进程复现再关,也合理。
fix: message sweep skips lane-owned sessions — the incremental lane's…
test: pin the lane-owned sweep exclusion at the storage layer (#3248/#…
ranxianglei commentedon Oct 15, 2026
[bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)
进度更新 — PR #3288 已过一轮 CI,发现并修掉了一个真实回归,现已重推(head
0f11198fd),等新一轮 CI 收尾。首轮 CI 结果(12 个 test shard):
shard 3 红 = 我的修复引入的回归,已修。
tests/incremental-lane.test.ts「divergent resync survives a cold restart without a 409 loop」失败。机制已查清:增量 lane(Delta lane: native-mode clients send only deltas, server maintains full state + one-time fold, upstream receives snapsho | 增量车道:native 模式客户端只发增量,服务端全量维护+一次折叠,上游只收快照(#2926 的泛化) #3248)按位置消费 unified messages 表——resync 时把当时的行数记为 baseSeq 纪元,被拒绝分支的旧行必须留在表里当审计底,服务历史从纪元处切片。我的「全量 ingest 清扫非本计划行」会把旧分支行删掉 → 纪元索引错位 → 冷重启重建出空 canonical → 409 循环。修法:lane 拥有的会话(session_ext 里有任何inc:*键)豁免清扫——它们保留 fix: per-session ingest watermark — storage saves cost O(new messages), not O(full log) (#3133) #3166 类孤儿(有界:启动时的 watermark 重置仍保护其 delta 信任)。本地验证:incremental-lane 29/29、storage 全家桶 90/90、typecheck 干净。shard 1 红 = master 本来就红(与我的改动无关),顺手修了。
tests/issue3148-upstream-circuit.test.ts的精确 clamp 事件断言(cap=1360)写于 [bug] 0.1.195 输出预算三路饿死仍复现:无 output 上限模型 restore 无下限(1→252、fork 原样转发 1)、#2490 planning floor 钳到 1479–2623 → 3 会话 9 次 finish=length 空轮不重试(#546/#1665/#1840/#2904/#2756 残留) #3071 的 4096 能力地板合入之前;两条分支并行开发互不知情,合并后互相打架,master 全平台确定性红(已对照 base commit 自己的 CI 确认)。4096 地板是有意的 fail-closed 行为(恒 ≤ window−input,另有专属钉死测试)。修法:更新两处过期常量 + 注释说明(纯测试改动,不动源码;测试真正的不变量——记录值==线上值——保持成立)。查重:无既有 issue/PR 处理此红。这是与 [bug] Fold anchor detaches after host restart (parent-gone): hydrated and unified-shadow DIGEST DRIFT within the same second, gap solidifies without self-healing (0.1.197, complementary to #3013 restart path) | [bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补) #3285 无关的独立小修,单独标注 commit,如不认可可摘除,不影响主修复。PR 描述已同步这两点(含行为变更披露与残留项)。等新一轮 CI 全绿后我给最终收口回复。
ranxianglei commentedon Oct 15, 2026
(ai: vllm-qwen/qwen3.8-27b)
补充:又一个持续 DIGEST DRIFT 现场实例 —— #3297(v0.1.197,Windows + DSH NEXT,默认 shadow 模式,配置里没有任何 storage 段)。报告者观察到同一会话
[storage] unified shadow DIGEST DRIFT在崩溃前同一天连续出现 19+ 次(首次 12:12Z、末次 13:14Z),随后 13:14Z 打出unified shadow mode ENABLED启动行——即该时段内进程重启过。时间背景:报告者刚做完一次损坏 session store 的手动恢复(隔离损坏文件 → 重启 → 恢复备份 → 再重启),短时间内 bili 多次重启——若旧实例未完全退出新实例即起,正好落在本 issue 定位的跨进程交接窗口。本案尚无证据区分与你的机制(水位跨进程继承 + messages 表孤儿行)同源还是另有 drift 源,先记为现场实例。PR #3288 的修复发布后其升级可作一次验证:若 drift 停止则同源坐实;若仍复现则存在另一漂移源,需另查。
相关一点:我已在 #3297 建议该报告者在 drift 反复出现期间不要切
storage.unified=full——shadow 模式下 legacy JSON 仍是权威读路径,活数据不受影响;full 模式会把 unified 视图提为主读路径,未收敛时切过去会读到不一致视图。ranxianglei commentedon Oct 15, 2026
[bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)
收口 — CI 全绿,PR #3288 可合并(等人工合并)。
head
0f11198fd:39/39 check 通过,12/12 test shard 全绿(含上一轮红的 shard 1「#3148 过期断言」与 shard 3「lane baseSeq 回归」)。最终交付状态:
completeLog门控;lane 会话豁免,保其 baseSeq 纪元)。回归测试钉住(无修复时红、有修复时绿)。行为变更与残留项已在 PR 描述披露。[acp-drift]稳态告警无节流两项证据已补进 [resilience] Preflight compress/timeout loop on sustained mass fold-coverage loss has no graceful degrade #2438 清单,不另开 issue。PR #3288:#3288 — 合并由人工执行。issue 保持 open 直到你确认新版本(≥下一发布)上重启后不再出现 DIGEST DRIFT;届时如 4bdb68ec 类会话仍残留脱锚,再按你的提议做 80 vs 328 对照取证。
fix: unified store — watermark trust does not cross process handoffs,…
fix: message sweep skips lane-owned sessions — the incremental lane's…
test: pin the lane-owned sweep exclusion at the storage layer (#3248/#…
Merge pull request #3288 from ranxianglei/2026-10-15_fix-3285-unified…
[-][bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补)[/-][+][bug] Fold anchor detaches after host restart (parent-gone): hydrated and unified-shadow DIGEST DRIFT within the same second, gap solidifies without self-healing (0.1.197, complementary to #3013 restart path) | [bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补)[/+]ranxianglei commentedon Oct 17, 2026
(ai: zhipuai-lb/glm-5.3)
收口:本单描述的「重启交接后折叠锚脱开 → DIGEST DRIFT 永不愈合」已由 PR #3288 修复(merged 2026-10-16 04:27 UTC,标题即引用本单),随 v0.1.198 发布。#3511 审查已核对该修复(watermark 不跨进程信任、全量路径清扫外来消息、lane-owned sweep)。
注意:审查同时发现一个不同根因的残留缺陷——full 模式下 blockContents 先于 state.blocks 行被清导致影子态 digest 漂移无法收敛——该残留已在 #3559(A 组)单独立项跟踪,与本单的跨进程交接问题无关。
fix(prepare-openai): mark the watermark-HIT window snapshot as folded
test: #7346 full-path regression — a watermark-HIT window save keeps …
fix: mark watermark-HIT window pin non-raw so the save does not sweep…
fix(storage): open 不再写库 — 全表水位线重置改逐会话惰性 prime (#3285 per-session rewo…
fix(storage): 每次保存按客户端 msgId 对账,水位线信任整体移除(#3285/#4182 按构造消失,2026-11-21)
fix(storage): open 不再写库 — 全表水位线重置改逐会话惰性 prime (#3285 per-session rewo…
fix(storage): 每次保存按客户端 msgId 对账,水位线信任整体移除(#3285/#4182 按构造消失,2026-11-21)
fix(storage): 每次保存按客户端 msgId 对账,水位线信任整体移除(#3285/#4182 按构造消失,2026-11-21)
Merge pull request #7437 from ranxianglei/fix/per-session-ingest-wate…
Merge origin/master (75ab922) into PR #4790 head — resolve storage-re…