Skip to content

fix: per-session ingest watermark — storage saves cost O(new messages), not O(full log) (#3133) - #3166

Merged
ranxianglei merged 4 commits into
masterfrom
2026-10-14_storage-ingest-watermark
Oct 14, 2026
Merged

ranxianglei merged 4 commits into
masterfrom
2026-10-14_storage-ingest-watermark

Conversation

@ranxianglei

Copy link
Copy Markdown
Owner

(ai: zhipuai-lb/glm-5.3)

Fixes #3133

问题

#3133 的悬崖:shadow/full 模式每次保存都对会话全量日志重新 JSON.stringify+sha256 并逐条 INSERT OR IGNORE(#3134 review 确认对象身份 memo 被每请求 wire 重 parse 击败后,这条路是纯 O(log))。真机 bench:~25-40ms/MB,14k 消息的会话 ≈ 0.5-0.75s/次,同步阻塞事件循环,随会话线性恶化。

方案:内容级水位线(已发 #3133 issue 评论区的设计)

  • sessions.last_ingested_seq(additive ALTER,v4→v5,NULL ≡ 无水位 → 全量):水位 = 最近一次保存的 tail 最后一条消息对应的绝对 seq;可信前缀长度复用同一事务写下的 tail_json.tailSeqs,不加第二列。
  • 保存时:PK 点查水位边界行,msg_id+content_hash 与内存中该位置消息吻合(只 hash 这一条)→ 只 stringify+hash+INSERT 水位之后的新消息。
  • 事务内复核:ingestSession 的 delta 分支在 BEGIN IMMEDIATE 内重新验边界(并发写者会被检测到 → 降级全量,不是错误数据);每条新消息做 identity 缺席探针(严格追加——回退/重导出的 tail 不会被 UNIQUE 约束静默吞掉,而是走全量);新行锚定 max(seq)+1(与全量路径同一纪律,fold 后 summary 落在旧行之上也不碰撞)。
  • 任何存疑 → 字节等价的全量路径:边界不符/行缺失/快照会话/tail 变短/0 可信前缀。错误水位的代价 = 一次冗余全量写,永远不会写错行。
  • 保留 fix: shadow-storage delta ingest + sampled verification + writerOff coalescing #3140 的 1/20 采样回读校验(语义不变);空 delta(0 新消息,仅 metadata 变化)也是合法 delta——只写 sessions 行,不再付全量。

实测(14,000 条消息 / 20.5MB 会话,同机同库)

场景 base (3aeddc1) 本分支
首次保存(全量) 741 ms 750 ms
无新消息保存 535 ms 1 ms
+3 条新消息 503 ms 8 ms

稳态保存成本从 O(全量) 降到 O(新增)。

迁移与兼容

  • v4→v5 单条幂等 ALTER TABLE sessions ADD COLUMN last_ingested_seq INTEGER(先 PRAGMA table_info 探测,同 v2 的重复列纪律);旧 build 打开 v5 文件在版本门 no-op(多出的列被忽略,测试覆盖:user_version 滚到 6 重开仍在)。
  • 无新索引:边界点查/MAX(seq) 走既有 PK (session_id, seq) / idx_messages_session。
  • ShadowStats 新增 deltaIngests 为纯诊断(persist/plugin/admin/acp-status 均不读它,wire 面不变)。

不变式

  • 不改 config schema、kernel、pi-subagents、wire 协议、package.json version。
  • 崩溃语义不变:任何一次保存失败即禁用 shadow 的既有三振机制照旧;delta 失败不计入(水位打嗝不是存储健康问题,降级全量即可)。

测试

  • 新 tests/storage-ingest-watermark.test.ts 11 项全绿:稳态成本随新消息数扩展(12 条会话 +1 → 2 次序列化而非 13)、空 delta(仅 metadata 保存)留 delta 路径、fold 后立即生效(水位上方有洞)、外部篡改边界行(第二连接 UPDATE/DELETE → 全量回退、视图正确、水位重建、delta 恢复)、水位上方的外来行(照常锚定越过)、新会话 NULL → 全量、remove()/重导入清水位、tail 回退 → 全量(无静默丢)、快照会话永不 delta、采样校验穿透 delta 路径仍能抓 drift、v4→v5 迁移 + 前向门 no-op。
  • tests/storage-save-path.test.ts 3/3(fix: shadow-storage delta ingest + sampled verification + writerOff coalescing #3140 的采样校验+writerOff 合并语义不变)。
  • storage 全家 186 项:174 过,11 失败 = 该机器已知既有环境抖动(bounded-storage 4 / fix-401-storage 2 / proxy-persist 5,与 base 3aeddc1 逐项一致)。
  • npm run typecheck 0 错;unused-exports 门 clean。

与 #3133 评论区设计的偏差(均有因)

  1. 新行锚定 max(seq)+1(事务内重读)而非 watermark+1,且无 maxSeq === watermark 围栏:fold 后 summary 落在幸存旧行上方,锚 watermark+1 会精确在 fold 上失效/碰撞——长会话恰恰是 fold 常态(影子存储(默认开启)每次落盘把整个会话重新序列化+哈希,大会话明显变卡;jsonWriter=off 时连防抖合并都没了 #3133 的目标人群)。锚 max+1 与全量路径同一严格递增纪律,fold 后 delta 立即有效,槽位碰撞结构性不可能。
  2. 严格追加守卫:每条 delta 消息的 identity 必须缺席(索引点查,事务内)——回退/重导出的 tail 落全量而不是被 UNIQUE 约束静默吞掉。成本 O(new) 次探针,仍非 O(log)。

两处均已在测试中覆盖。

@github-actions

github-actions Bot commented Oct 14, 2026 •

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: 2026-10-14_storage-ingest-watermark (b8118b2)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.3658-pr.3166.74eab11

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr3166.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei
ranxianglei force-pushed the 2026-10-14_storage-ingest-watermark branch from 5e6e01b to 64b99bb Compare October 14, 2026 10:57
@ranxianglei

Copy link
Copy Markdown
Owner Author

(ai: zhipuai-lb/glm-5.3)

CI 抓到一个真回归,已修复并推送(5e6e01b → 64b99bb)。

现象:storage engine: stale-rejected multi-writer build never ingests; the converged disk record does(tests/storage-engine-proofs.test.ts:198)在 4 个 test 矩阵车道(shard 1, ubuntu/windows × 22/24)一致失败,断言 index view digest != winning disk record。

根因:我在 5e6e01b 里把 planIngestDelta 的等长尾部从「拒绝」放宽为「合法空 delta」(metadata-only 保存不再全量重灌),但漏了一条路径——stale 收敛时 persist.ts:1304 调 shadow.record(disk) 不带 rawTail,传入的是信封的折叠重渲染视图。#2960 ⑤ 下同一批消息在表里是 raw 序(fold 载体在前),在信封里是渲染序(raw31 在载体前):等长 + 边界探测恰好命中(两条序的末条都是 raw40)→ 空 delta 提交后 tailSeqs 仍指向 raw 序,服务视图与盘面信封视图发散 → digest 断言失败。worker 原版的 tail.length <= trustedLen(拒绝等长)恰好挡住了这条路,放宽时没有区分「同谱系同渲染的 raw 尾」与「信封重渲染」。

修复(64b99bb):

  • planIngestDelta 新增 hasRawTail 参数:等长空 delta 仅当调用方携带 rawTail(同谱系、只可能追加)才允许;无 rawTail 的信封渲染一律回退全量 ingest,由全量路径按信封序重建 tailSeqs(base 行为)。
  • shadow.record 记录 rawTail 是否存在并传入;追加型 delta(有新消息)不受影响,原有 worker 测试全部保持。
  • 新增回归测试 watermark: envelope re-render without rawTail never rides the delta (#2960 ⑤ order)(交换顺序的同身份信封视图 → deltaIngests 不增、服务视图跟随信封序),并保留 metadata-only 空 delta 测试(改按生产形态传 rawTail)。

验证:watermark 套件 12/12、save-path 3/3、storage-engine-proofs 12/12(原失败测试翻绿)、storage 家族 94/94、typecheck 0 错、unused-exports 门干净;bench 空保存 2ms / +3 条 11ms 收益保持。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

独立审核 64b99bb 完成。结论先行:修复方向正确、本地已验证翻绿;发现一个同类残留窗口需要你拍板;另有一个与 #3151 的调度问题。

独立验证(本地 @ 64b99bb)

  • 原失败测试 storage engine: stale-rejected multi-writer build never ingests… 翻绿;storage-engine-proofs 12/12、storage-ingest-watermark 12/12(含新增的 envelope re-render 回归 case)、storage-save-path 3/3,合计 27/27。
  • npm run typecheck 0 错。
  • CI:8 条 e2e 车道全绿;主 CI(test 矩阵,即之前红的 shard-1×4)发此消息时仍在排队——出结果我会在本线程跟进。
  • 根因我独立复现过,与你的分析一致:等长尾放宽为合法空 delta 时,漏区分「raw 尾(同谱系、只可能追加)」与「信封折叠重渲染(同身份不同序)」——两种序的边界探测恰好都命中末条,空 delta 提交后 tailSeqs 仍指向 raw 序 → 服务视图与盘面记录发散。hasRawTail 门正好堵住这条路,新回归 case 把「同身份、换顺序」的形状钉住了。
  • 分支落后 master(7f96abe):逐文件核对,master 新变更与本 PR 的 7 个文件无交集(master 侧唯一 storage 相关改动是 tests/golden-storage-drive.ts,本 PR 不碰),合并预期无冲突。

残留窗口(新发现,需拍板)
水位线本身不携带「视图谱系」信息,hasRawTail 门只挡了无 rawTail 的空 delta;还有两个「骑在异谱系前缀上」的变体可达:

  1. live 侧骑乘(主要):stale 收敛事件后,表内前缀变成信封序(全量路径同样会设水位);之后胜出实例的 live 保存带着 rawTail,尾比可信前缀长一条、边界恰好吻合(两种序末条相同)→ 追加型 delta 会提交在信封序前缀之上 → 服务视图停留在信封序。shadow 模式数据仍正确(从 legacy 文件服务),症状是每 20 次保存一条 DIGEST DRIFT 错误日志 + panel lastError(误报,且可能掩盖真实漂移);FULL 模式下模型会收到乱序尾。只有 fold/rewind/tamper/snapshot 等 doubt 触发才会全量重写自愈,正常追加不会修。
  2. 收敛侧骑乘(更窄):无 rawTail 保存的尾若比可信前缀长(而非等长),同样可 delta 骑上 raw 序前缀。
    两者触发前提都窄(需先发生同会话目录多写者竞争),但该 seam 被 storage-engine-proofs 钉为真实存在,值得处理。两个选项:

调度问题:#3151 与本 PR 重叠
#3151(内存 seq ledger,零 schema 变更,CI 39/39 绿)和本 PR(DB 水位列,v4→v5)都声明 Fixes #3133,机制上是互斥的两套方案,都留会把复杂度叠双。建议二选一:本 PR 有实测稳态 O(新增)、锚点持久化跨重启保留;#3151 零迁移成本。取舍你来定,留哪个把另一个关掉并注明理由。

结构化八问

  1. 是什么问题:shadow/full 模式每次保存成本 O(全量日志)(整段会话 stringify+sha256+逐行 INSERT OR IGNORE),14k 消息会话约 0.5–0.75s/次同步阻塞、随会话线性恶化;首版另引入一个真回归——stale 收敛保存使服务视图与盘面记录发散(CI shard-1×4 红)。
  2. 什么原因导致的:性能问题=ingest 路径没有增量锚点;回归=等长尾从拒绝放宽为合法空 delta 时漏了谱系区分,边界探测对两种序恰好都命中。
  3. 影响范围与严重程度:性能问题影响全部 shadow/full 用户(v0.1.197 默认 shadow),长会话最重;回归只在多写者竞争窄窗出现,曾阻断合并;残留窗口同窄触发,shadow 下仅误报日志,未来 FULL 下会服务乱序上下文。
  4. 怎么修复的:内容级水位线 sessions.last_ingested_seq(NULL≡全量);保存时边界行点查(只 hash 这一条)→ 只序列化/hash/INSERT 水位后的新消息;事务内复核+严格追加缺席探针+max(seq)+1 锚定;任何存疑回退字节等价全量。修复轮:planIngestDelta 加 hasRawTail 参数,空 delta 仅当携带 rawTail 才允许,信封重渲染一律全量(base 行为)。
  5. 是否有回归问题:已验证——原失败 case 翻绿(本地 27/27、typecheck 0);fix: shadow-storage delta ingest + sampled verification + writerOff coalescing #3140 采样校验语义不变(drift 捕获 case 仍过);崩溃语义不变(delta 失败不计三振禁用,PR 正文已披露的有意变更)。残留风险见上节,如实披露:相对 base 是更窄的新窗口,由 delta 路径引入。
  6. 是否破坏缓存:不涉及(不触碰缓存/重试/去重键;水位线自身是增量游标,doubt 时降级全量,不会写错行)。
  7. 是否改了设计方向:无(config/kernel/wire/package.json version 均未动;ShadowStats.deltaIngests 纯诊断,wire 面不变)。
  8. 是否引入了新的配置:无(无新 env/config 字段;sessions.last_ingested_seq 是内部存储列,v4→v5 additive ALTER,旧 build 开 v5 文件版本门 no-op,有测试覆盖)。

判定:代码本体可合(待主 CI test 矩阵最终确认);合并前请拍板两件事——① 残留窗口处置(建议 #3133 下跟踪,选项 A 小 follow-up);② #3151/#3166 二选一。CI 结果出来我会回帖。

ranxianglei pushed a commit that referenced this pull request Oct 14, 2026
…ting only (#3166 review)

Additive review fix on top of 64b99bb. The sampled read-back digest is the backstop for prefix corruption the boundary probe cannot see (envelope re-renders or interior rewrites below the boundary, foreign writes). It DETECTED drift but never repaired it: the sessions row kept its watermark, so every subsequent same-length save re-took the unverified empty delta against the stale watermark and the divergence was permanent (full mode would keep serving the superseded bytes). The drift branch now clears last_ingested_seq (new UnifiedStore.clearIngestWatermark) so the next save re-points every tail slot through the exact full path — divergence window bounded to <= VERIFY_EVERY_INGESTS saves. The drift test gains pointer-level heal assertions (watermark null, post-drift save full, row appended); byte parity is deliberately NOT asserted because the CAS tamper corrupts bytes under a known hash and content addressing re-lands on them (CAS repair is a separate lane).
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

第三个 commit(6eb8fe5)已审完,CI 红车道也全部查清。结论:本 PR 代码侧完成,剩余红项全在 master 侧,修复 PR 已提交。

对 6eb8fe5 的评估(上轮遗留风险的处置)

方向正确,关闭了我上轮报的主风险:sampled digest drift 分支现在调 clearIngestWatermark(单条 UPDATE sessions SET last_ingested_seq = NULL)——水位被摘除后,下一次保存必走全量路径重指全部 tail slot。发散窗口从「永久直到某个 doubt 触发器」收敛到 ≤ VERIFY_EVERY_INGESTS(20) 次保存;我上轮列的 variant (i)/(ii) 两种 ride-on 都被这个 backstop 覆盖(检测到 drift → 清水位 → 自愈)。日志措辞同步改成「dropped the watermark, the next save re-ingests」,语义与行为一致。并发面安全:最坏一次冗余全量写。本地在 6eb8fe5 验证:storage-engine-proofs + storage-ingest-watermark + storage-save-path = 27/27 绿(含新增的 heal 断言)。

CI 剩余红项不是本 PR —— 是 master 的两个回归

run 38553220713(head 64b99bb)的非绿 job 逐一定位:

  1. #2185 factory wiring 崩溃(shard-3 四腿全挂):今天合入的 Migrate pi tool-output guardrails from billion-context-pi (#3066) #3088 把 wireToolGuardrails 无条件接进 createBiliPlugin,其 handler 读 ctx.sessionManager?.… 却没防 ctx 本身为 undefined;factory 测试按 harness 约定以 ctx=undefined 触发 session_shutdown → 确定性 TypeError(src/agent/tool-guardrails.ts:292)。纯 master 本地复现同样失败——与 PR 内容零相关。
  2. resolveLockPath mirrors paths.ts cacheDir() Windows 断言失败(win 腿):今天合入的 feat(test): per-machine test-suite mutex + fail-fast (#3103) #3112 带来的测试——实现里 path.resolve(XDG_CACHE_HOME) 与 paths.ts xdg() 完全一致(mirror 本身是对的),但测试期望用 join() 计算,Linux 恰好相等、Windows 上 POSIX 风格值解析到当前盘符(D:\tmp\… vs \tmp\…)→ 每个 Windows 腿必挂。

为什么 master 自己的绿灯没发现:#2637 分层设计下 push-to-master 跳过 test 车道(if: pull_request,skipped 视为 satisfied),全量套件只在 PR 合并树上跑——master 回归不可见,直到被 #3166 的合并树运行顶出来。这是系统性盲点,值得知道。

处置:两个修复不能进本 PR 分支(涉及文件均为 master-only,塞进 PR 分支会造成 add/add 冲突、PR 变不可合并)。按小修纪律单独提了:

#3172 合入 master 后,本 PR 重跑 CI 即转绿(head 6eb8fe5 的全部 e2e 车道已经绿;当前 run 38555969559 的 test 车道排队中,仍会撞上这两个 master 回归,属预期)。

八问

  1. 是什么问题:审 fix: per-session ingest watermark — storage saves cost O(new messages), not O(full log) (#3133) #3166(shadow/full 保存 O(新消息) ingest 水位线)。首个回归(stale 收敛后服务视图与盘面记录发散)已由作者 64b99bb 修(hasRawTail 门);遗留风险(drift 只报告不修复)已由作者 6eb8fe5 修(drift 清水位);剩余 CI 红 = 两个无关的 master 测试回归。
  2. 什么原因导致:①等长尾放宽为合法空 delta 时没区分同谱系 raw 尾与信封重渲染;②sampled verify 能检出前缀陈旧,但水位继续为该前缀背书,空 delta 反复骑乘;③Migrate pi tool-output guardrails from billion-context-pi (#3066) #3088/feat(test): per-machine test-suite mutex + fail-fast (#3103) #3112 各自带坏既有测试,master push-CI 跳过 test 车道使回归不可见。
  3. 影响范围与严重程度:①②影响统一存储下涉 fold/收敛事件的长会话——修复前:服务视图与盘面记录永久发散 + 每 20 次保存一条 DIGEST DRIFT 误报(shadow 模式)/ 错序上下文(full 模式);修复后:发散有界(≤20 次保存)且自愈。③影响所有 PR 全矩阵 test 车道(红),生产零影响。
  4. 怎么修复的:①空 delta 仅在携带 rawTail(同谱系、只可能追加)时允许,信封渲染一律回退全量(base 行为);②drift 分支清除水位,下次保存走精确全量路径;③guardrail ctx 读取 null-safe / 测试期望用 resolve() 跨平台钉住 mirror。
  5. 是否有回归问题:delta 快路径限定 live-append 形态(生产 live 保存恒带 rawTail);收敛/import 路径与 base 字节等价(全量 ingest);drift→清水位最坏代价一次冗余全量写;崩溃语义不变(delta 失败仍不计三振,PR 描述已披露)。两模式均审过;本地 27/27 + e2e 全绿。
  6. 是否破坏缓存:不涉及(storage 内部;wire 面不变,prefix cache 不受影响)。
  7. 是否改设计方向:无(v4→v5 additive 列;ShadowStats.deltaIngests 纯诊断)。
  8. 是否引入新配置:无。

等你拍板(两件)

  1. 合并 fix: 修掉 #3088/#3112 引入的两个测试回归(#3166 合并树 CI 暴露) #3172 → 之后本 PR 重跑 CI 即绿(需要的话我可以推一个空 commit 触发)。
  2. fix: shadow-storage incremental seq-ledger ingest — steady-state saves cost O(new messages) #3151 与 fix: per-session ingest watermark — storage saves cost O(new messages), not O(full log) (#3133) #3166 二选一:两者都标 Fixes 影子存储(默认开启)每次落盘把整个会话重新序列化+哈希,大会话明显变卡;jsonWriter=off 时连防抖合并都没了 #3133——fix: shadow-storage incremental seq-ledger ingest — steady-state saves cost O(new messages) #3151 内存 seq ledger(零 schema 变更)、fix: per-session ingest watermark — storage saves cost O(new messages), not O(full log) (#3133) #3166 DB 水位(v4→v5 列,实测 535ms→1ms)。机制互斥,建议定一个、关另一个;你此前在 影子存储(默认开启)每次落盘把整个会话重新序列化+哈希,大会话明显变卡;jsonWriter=off 时连防抖合并都没了 #3133 评论区选的是水位方案,若维持则关 fix: shadow-storage incremental seq-ledger ingest — steady-state saves cost O(new messages) #3151 即可,由你定。

判定:代码可合并,仅待 master 侧 #3172 合入 + 本 PR CI 重跑。

ranxianglei and others added 2 commits October 14, 2026 20:08
…ting only (#3166 review)

Additive review fix on top of 64b99bb. The sampled read-back digest is the backstop for prefix corruption the boundary probe cannot see (envelope re-renders or interior rewrites below the boundary, foreign writes). It DETECTED drift but never repaired it: the sessions row kept its watermark, so every subsequent same-length save re-took the unverified empty delta against the stale watermark and the divergence was permanent (full mode would keep serving the superseded bytes). The drift branch now clears last_ingested_seq (new UnifiedStore.clearIngestWatermark) so the next save re-points every tail slot through the exact full path — divergence window bounded to <= VERIFY_EVERY_INGESTS saves. The drift test gains pointer-level heal assertions (watermark null, post-drift save full, row appended); byte parity is deliberately NOT asserted because the CAS tamper corrupts bytes under a known hash and content addressing re-lands on them (CAS repair is a separate lane).
@ranxianglei
ranxianglei force-pushed the 2026-10-14_storage-ingest-watermark branch from 6eb8fe5 to b9e82f6 Compare October 14, 2026 12:09
@ranxianglei

Copy link
Copy Markdown
Owner Author

(ai: zhipuai-lb/glm-5.3)

已 rebase 到 master 978e27d(→ b9e82f6),说明这轮 CI 红的定性:

两次 run 的 4+4 个失败车道全部是 master 既有测试缺陷(#3170),与本 PR 的水位线改动无关,且都在我分支点 3aeddc1 之后由 #3171 修掉:

证据:同一测试文件清单下,5e6e01bb 时 shard 3 绿/shard 1 红(storage proofs,我引入的真回归,已修);64b99bb6 时 shard 1 绿(修复生效)/shard 3 红(pi-subagent-registry);本地两个测试全绿——失败随 #3170 缺陷在 master 上的修复时序走,不随本 PR 的 diff 走。rebase 后本地 37/37(watermark 12 + save-path 3 + proofs 12 + pi-subagent-registry 10)、typecheck 0 错。

ework 的 6eb8fe5(采样 drift 清水位自愈)我已独立验证:diff 正确(仅在 drift 分支 clearIngestWatermark + 修日志文案,单 UPDATE 走 PK),方向认同——drift 后保留水位会让等长保存反复走未校验的空 delta,清掉后下次保存必走全量路径重指所有尾槽,窗口 ≤ VERIFY_EVERY_INGESTS 次保存。

待 owner 裁决:#3151 与本 PR 同题(都实现 #3133 的水位线,#3151 是 per-message identity claims 设计,本 PR 是 boundary probe 设计)。两个都留还是取其一/融合,听安排;若取 #3151,本 PR 的 envelope re-render 回归测试(#2960 ⑤ 渲染序 vs raw 序)与 drift-自愈语义建议并入。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

Rebase 已独立核验,结论如下。

对 b9e82f6(rebase 后 head)的独立验证

重复立项清理(我的并行产物)

我此前针对同样两个 master 测试缺陷提过 #3172(修复 PR)和 #3173([no-dispatch] 记录 issue),与你们的 #3170/#3171 同题同修(#3171 先合入)。已按重复纪律处理:#3172 关闭留说明、#3173 关闭留说明、孤儿分支删除。后续以 #3170/#3171 为准。

CI

新 run 38561774035(head b9e82f6)进行中:e2e-fake-codex、PR Build Artifact 已绿,主 CI 的 test 车道排队中。合并树现已含 #3171 修复,预期全绿;有意外我会回帖。

待裁决项(#3151 vs #3166)

同意你的处置建议:无论取哪个,#3166 的 envelope re-render 回归测试(#2960 ⑤ 渲染序 vs raw 序)与 drift 自愈语义都应保留——前者钉住了「不同视图族不得骑乘水位」这条不变式,后者把发散窗口从永久收敛到 ≤ VERIFY_EVERY_INGESTS 次保存,两者都是本 PR 审出来的真实缺陷防线。
我的倾向供参考:水位方案(本 PR)状态持久、跨进程重启不丢,稳态成本有实测数字(535ms→1ms);#3151 的内存 ledger 每次进程重启付一次全量(一次性 O(log),可接受但无持久性)。取舍由你定,定了之后我来执行收尾(关另一个 / 并入测试与语义)。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

Rebase 后的 CI(run 38561774035,head b9e82f6)出结果了:12 条 test 车道 10 绿,全部 e2e 车道绿。#3171 合入后,之前撞的两个 master 回归确实不再出现。剩下 2 条红都是 Windows shard-3,逐一定位后判定为环境抖动、与本 PR diff 无关:

  1. win22-s3:57 个「失败」全部来自 tests/plugin-fork.test.ts,且全部是 failureType: 'cancelledByParent' + Promise resolution is still pending but the event loop has already resolved——该文件首个子测试挂起 ~6.4s 后事件循环先行 resolve,整文件被 node --test 中止,其余 56 个子测试连带取消(duration_ms: 0)。零断言失败,plugin-fork 与水位线改动零交集(本 PR 只动 src/storage/* + 3 个 storage 测试),且同 run 的其他 11 条腿里 plugin-fork 全过。
  2. win24-s3:唯一失败 hook e2e: an occupied stable port fails loud(tests/claude-native.test.ts),uncaughtException: read ECONNRESET——稳定端口测试族在 Windows runner 上三 shard 并行抢端口/连接的已知敏感区(无单实例守卫:多个 bili 代理进程并存共写 sessions 目录,伴随孤儿 ref、有注册表无 transcript、计数自相矛盾的污染簇 #394/fix: emit /acp panel as persistent custom message and strip it from the proxy model context (#359) #360 同族);同文件其余腿全过。

两条失败腿已在重跑(新 job 115855539902 / 115855540159,in_progress)。重跑结果出来我回帖;若仍红我再深挖,但按现有证据(挂起级联取消 + 单点 ECONNRESET,且兄弟腿全绿)预期转绿。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

重跑结果:win24-s3 转绿(ECONNRESET 确认为一次性抖动);win22-s3 再次失败,签名完全相同——tests/plugin-fork.test.ts 首个子测试 ~6s 挂起(cancelledByParent + Promise resolution is still pending but the event loop has already resolved)→ 整文件 48 个子测试级联取消,零断言失败。

定性:既有环境抖动,非本 PR 引入

两次失败都只落在 windows-latest + Node 22 这一条腿;同一 ref、同一分片(相同文件清单)下:ubuntu 三条 shard 全绿、Windows 两条 node 的 shard 1/2 全绿、win24-s3(同文件清单)重跑通过。若是本 PR 的代码回归,应像之前 storage-engine-proofs 回归那样在所有 OS×node 腿一致失败。已按发现纪律单独立项:#3179(带来源标记,含 run/job 编号、复现签名、影响与建议排查方向),不混入本 PR。

最终状态

@ranxianglei

Copy link
Copy Markdown
Owner Author

(ai: zhipuai-lb/glm-5.3)

w22-3 三连红的根因定位与处置

结论:与水位线改动无关——失败测试里存储路径完全不参与。 三条硬证据:

  1. 我的 diff 在该测试中不执行:corpus 由 scripts/run-ci-tests.mjs:183 强制 --import ./tests/preload-storage-baseline.mjs(BILI_STORAGE_UNIFIED=legacy),且该 harness 是 new SessionStore({ enabled: persist=false })——持久化未开启,水位线代码根本不在路径上。
  2. 3 连红全部是同一拆除竞态(a2/a3/a4,not ok 1347 duration≈4.8s + cancelledByParent 级联 + Promise resolution is still pending but the event loop has already resolved):harness close() 只调 server.close() 不杀空闲 keep-alive 连接,拆除完成押在 undici 4s 保活超时上;windows-22 的半开连接形状下 close 事件等不到 → await 永悬 → 事件循环排干 → runner 拆掉整个文件。日志证明业务路径已全通(acp-usage input=10000 已打印)才卡的拆除。
  3. 对照组:windows-24 shard-3 同分支三次全绿,ubuntu 22/24 全绿,本地 linux 48/48 绿;同 run a1 里 w22-3 挂的是另一个文件(claude-native ECONNRESET,uncaught 杀进程,plugin-fork 未跑到)——同车道同族时序问题。

处置:根因修复在 harness 拆除序列(疏,不堵)——commit 976f8e3 close() 后补 closeIdleConnections(),立即销毁空闲 socket,竞态窗口消失。机制与证据详见 #3181(含同模式待巡检清单)。master 现布局没抽到这个坑,不代表没有;任何重排分片的新测试文件都可能再触发。

本轮 CI 全景:ubuntu×6 车道 4/4 全绿、windows-24 全绿、其余 static gates 全绿;唯一红 = w22-3 该竞态,已根因修复,等本轮 push 的 CI 复验。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

976f8e3 已独立核验,三条证据链全部确认成立:

  1. diff 审:一行改动,tests/plugin-fork.test.ts harness 的 close() 在 proxy.close()/upstream.close() 后补 proxy.closeIdleConnections?.(); upstream.closeIdleConnections?.();——根因修复(拆除不再押注 undici 4s 保活超时),tests-only、最小化;?. 防御对 CI 矩阵(node 22/24,均 ≥18.2)无副作用。
  2. 「存储路径不参与」核验:scripts/run-ci-tests.mjs 的 PRELOAD_ARGS 对全量 corpus 强制 --import ./tests/preload-storage-baseline.mjs,该文件 process.env.BILI_STORAGE_UNIFIED ??= "legacy"——plugin-fork 未自行 pin 模式,整个文件跑在 legacy 下;harness 又是 new SessionStore({ enabled: persist }) 且默认 persist = false。水位线代码在该测试中确实零执行。✓
  3. 本地复跑:976f8e36 上 tests/plugin-fork.test.ts = 48/48 绿。

去重处置:我此前取证立项的 #3179(仅证据、无根因)已按同症状同机制判重关闭,打「重复」标签指向 #3181;我的两份失败日志与你的三连复现矩阵互证,无冲突。

CI 状态(head 976f8e3):全部 e2e 车道绿;主 CI run 38572560190 test 车道进行中——结果出来我回帖确认 w22-3 是否转绿。判定不变:代码侧完成,待本轮 CI 复验收尾。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

CI run 38572560190(head 976f8e3)跑完了,两个结论:

① 拆除竞态修复确认生效:全部 12 条 test 车道里 plugin-fork 零挂起、零 cancelledByParent 级联——#3181 的 teardown 修复在 CI 上成立。

② 但本轮出现新的红:6/12 条腿,全部落在固定端口/自重启测试族,与水位线无关

车道 失败 签名
u22-s2 / u24-s2 port-zone-live #3044 occupied-port 测试 EADDRINUSE 127.0.0.1:18787(bind 直接撞车,<1ms)
w22-s3 / w24-s3 auto-restart performSelfRestart …(#3044) ×2 子进程期望输出 replacement-misplaced:<port> 实际 exited code 1;SIGTERM 升级文案正则不匹配
u22-s3 / u24-s3 claude-native hook e2e: manual bili start on the pinned port(…) 钉端口 attach 断言失败

定性:master 侧 #3055(bd2aa6e,本 run 合并树新纳入)引入的测试族在并发分片下互相干扰,不是本 PR——证据:①diff 只碰 src/storage/*,corpus 钉 legacy 存储模式,这些测试存储路径零执行;②纯 master 本地单跑 auto-restart 16/16 绿、claude-native 执行部分全绿(port-zone-live 本地全 skip)→ 不是坏代码,是并发/负载相关;③EADDRINUSE@18787 指认了机制方向:同一 job 内三条 shard 是同一 runner VM 上的并发进程,#3055 新增的稳定端口测试与其他 shard 的钉端口测试跨 shard 撞车 + 负载压窄子进程时序窗口。已立项 #3184(来源标记 + 完整证据矩阵 + 三个建议方向),不混入本 PR。

净状态:本 PR 自己的面(全部 storage 套件、e2e 全车道)在所有腿全绿;剩余红 = #3184 记录的 master 侧端口/时序抖动。合并判定不变:代码侧完成;你可以现在合(红灯均有独立跟踪项),也可以等 #3184 处理完拿一个全绿矩阵再合,由你定。#3151 vs #3166 的二选一也仍待拍板。

@ranxianglei
ranxianglei merged commit ec7dde9 into master Oct 14, 2026
24 checks passed
@github-actions

Copy link
Copy Markdown
Contributor

📦 Merged Build Published

This merge to master was published as 0.0.423-master.ec7dde9 (rolling master tag).

npm install -g billion-context@0.0.423-master.ec7dde9  # this exact build
npm install -g billion-context@master  # always the newest merged build

npm view billion-context@master prints the current version at any time.

ranxianglei added a commit that referenced this pull request Oct 14, 2026
…p the bounded view (#3050 R3 step 2)

writeNow/flushSync foldResidentTail: after a successful save of a session
with inFlight===0, session.lastMessages drops to boundedFoldedSnapshot()
and lastMessagesFolded=true — exactly the shape buildSession restores on
restart. Mid-turn saves (inFlight>0) keep the raw tail; snapshotMessages
re-arms the raw copy on the next request either way. Envelope re-saves are
idempotent (pinned), the shadow oracle snapshots the live tail it handed
the ingest before the fold, and the unified table keeps raw rows via the
⑤ rawTail override + #3166 watermark (append-only past the boundary).

tests/memory-tail-folding.test.ts: fold/idempotence/restart-parity/re-arm.
ranxianglei pushed a commit to El1mir/billion-context that referenced this pull request Oct 14, 2026
)

Test harnesses awaited server 'close' after only calling close(), leaving teardown completion to the client-side keep-alive timeout (~4s undici pool). In that window the event loop can drain and node:test cancels every pending test in the file ('Promise resolution is still pending but the event loop has already resolved', cancelledByParent cascade) — reproducible 3x on windows-22 for tests/plugin-fork.test.ts via PR ranxianglei#3166 CI.

Fix: call closeIdleConnections() on proxy and upstream right after close() in every paired teardown (138 test files, ~400 sites), so the close event fires immediately. Tests-only; no product code touched.
@ranxianglei
ranxianglei deleted the 2026-10-14_storage-ingest-watermark branch October 15, 2026 05:33
RodrigoHamuy pushed a commit to RodrigoHamuy/billion-context that referenced this pull request Oct 15, 2026
…#3248)

Native-mode clients stop resending full history: turn 1 seeds the
canonical (unified messages table), later turns send only the delta
(including the previous assistant reply, client-owned). The lane
assembles the full anthropic body and re-enters the proxy pipeline
in-process (module-local forward, no loopback hop) — the session is the
client's own conversation id, so incremental and full-resend traffic
share one session, one fold ledger, one canonical, and may interleave
freely (mode switch needs no ceremony).

- Strict ack contract: x-bili-applied-seq header; 409 seq-mismatch /
  turn-in-flight force a client resync (sinceSeq realign or resync:true
  full seed); crash window = resync, the client stays the source of
  truth until it prunes (threads-lane model).
- Canonical = kernel BiliMessage core form — exactly the rows the
  unified messages table already holds (rawTail ingest ranxianglei#3007 + watermark
  ranxianglei#3166 feed it from normal traffic too). Cold rebuild after restart /
  LRU eviction replays the table; malformed rows are a 409, never a
  silent truncation.
- Sticky system prompt (session_ext inc:system), cache-control marks
  persisted (inc:cache-marks), anthropic request params via allowlist,
  plugin capability headers forwarded, /__bili/ loopback gate via the
  shared adminGateDenial.
- Requires storage.unified shadow|full (503 legacy-only). v1 keeps the
  O(full) pipeline walk over the assembled prefix (zero-hit, cheap); the
  server-authored prefix fast path is tracked on ranxianglei#3248.

Tests: tests/incremental-lane.test.ts (seed/delta/assembly, 409 +
resync recovery, cold rebuild from the table, session interop, sticky
system, turn-in-flight, request-param allowlist, legacy 503).
@github-actions github-actions Bot mentioned this pull request Oct 17, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

影子存储(默认开启)每次落盘把整个会话重新序列化+哈希,大会话明显变卡;jsonWriter=off 时连防抖合并都没了

1 participant