Skip to content

[PR] fix(storage): open no longer writes to DB — full-table watermark reset changed to per-session lazy prime (#3285 per-sess | fix(storage): open 不再写库——全表水位线重置改为逐会话惰性 prime(#3285 逐会话化,#7156 事故面收尾) - #7437

Open
ranxianglei wants to merge 1 commit into
masterfrom
fix/per-session-ingest-watermark

Conversation

@ranxianglei

Copy link
Copy Markdown
Owner

背景:#7156 事故链里有一环一直留着:writer 初始化(open)会执行一条无 WHERE 的 UPDATE sessions SET last_ingested_seq = NULL(#3285 的跨进程信任交接)——它让 open 本身成为一次写,且一次性触碰每一个会话。对照研究(opencode:同 SQLite+WAL、多客户端并发多年无损坏)确认了纪律边界:多进程 WAL 库的稳态是「只排队写、绝不在 open/维护窗口制造协议外写入」;而 #7156 复现(第二条连接 3 行 UPDATE 即损坏活库)证明 open 期写入正是高危窗口。

修法:信任边界其实是逐会话的——一个进程只需要不信任「它没设过的、它即将保存的那个会话」的水位线。全表重置删除,改为 UnifiedStore.primeIngestTrust(sessionId):本进程首次触碰某会话时(读水位线之前)只清该会话的外来水位线(→ 下一次保存走精确全量路径、用本进程自己的视图重建信任),同进程后续触碰幂等无写;从未触碰的会话水位线原样保留。逐点核对,信任判决与旧全表重置逐字节一致;唯一行为变化:open 零写——大库 pre-verdict 损坏不再拦 boot(boot 成功,损坏在首次保存的大声失败 + 后台 quick_check 落判决后由状态面暴露,noteIngestFailure 新增损坏分类:大声 error + 完整性 latch)。#7156 的 open 路径写损坏分类保留(现在只覆盖 migration/DDL 裸写)。mysql 后端接口同步。

冲突提示:#7424 同改 shadow.ts maybeOpen 区域(纯 sqlite 拒启分支包在同一外层 catch 上);先合哪个都可以,后合者需小 rebase(两行文案级重叠)。

回归:tests/per-session-ingest-trust.test.ts(新增:open 不清水位线 / prime 单会话 + 幂等 + 全量重设信任链)、tests/issue7156-storage-corruption.test.ts FIX4 重写为新语义(corrupt page 下 boot 成功 + 首次 ingest 大声失败 + latch)、tests/storage-ingest-watermark.test.ts handoff 用例改钉「open 不清 + 首触 prime + 全量路径」(安全性质不变:新进程首个保存仍全量、零 drift、孤儿行被替换)、tests/storage-mysql-seam.test.ts 接口同步。122 文件 storage 大批量 917 测试中 21 个失败与改动前基线完全同名(6 个 JSON 持久层文件,既有环境问题,非本改动)。

关联:#7156(事故)、#7424(纯 sqlite 拒启)、#7425(大字段问题)、#3285(信任交接原型)。

@github-actions

github-actions Bot commented Nov 21, 2026 •

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: fix/per-session-ingest-watermark (899645a)

Latest build — install this exact version

npm install -g billion-context@0.0.11202-pr.7437.c7e2a5d

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Recent builds (commit → version)

commit version build
899645a billion-context@0.0.11202-pr.7437.c7e2a5d build
0fa7eac billion-context@0.0.11161-pr.7437.f80cd2c build

Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr7437.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei ranxianglei changed the title fix(storage): open 不再写库——全表水位线重置改为逐会话惰性 prime(#3285 逐会话化,#7156 事故面收尾) [PR] fix(storage): open no longer writes to DB — full-table watermark reset changed to per-session lazy prime (#3285 per-sess | fix(storage): open 不再写库——全表水位线重置改为逐会话惰性 prime(#3285 逐会话化,#7156 事故面收尾) Nov 21, 2026
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

查重:不重复。本 PR(GitHub #7437)是「open 不再写库 / 逐会话水位线 prime」的唯一修复。#7424(纯 sqlite 拒启)同改 shadow.ts maybeOpen 区域但机制不同(拒启分支 vs 水位线 prime),PR 正文已提示冲突(两行文案级重叠,后合者小 rebase)——相邻修复,非重复。

标签:bug p1 scope/storage(+ 既有 pr)——#7156 事故面收尾,数据损坏类 = p1;存储层持久化/水位线 = scope/storage。

CI:全绿。test 车道(ubuntu/windows × 22/24 × 5 shards)全 success;static-gates、mysql-contract、kernel-guard、lane-guard、version-guard、architecture-docs、lock-sync、config-surface-guard 等全部 success;in_progress = 0。

八问(给 reviewer):

  1. 是什么问题:[Bug][storage] Takeover spawns before reclaim: old and new sidecars simultaneously hold index.db, causing corruption; em | [Bug][storage] 接管时先 spawn 后回收:新旧侧车同时持有 index.db 引发损坏;空 payload_json 又让历史会话静默变 0 #7156 事故链里的一环——writer 初始化(open)执行一条无 WHERE 的 UPDATE sessions SET last_ingested_seq = NULL,让 open 本身成为一次写、且一次性触碰每个会话。多进程 WAL 库的稳态纪律是「只排队写、绝不在 open/维护窗口制造协议外写入」,[Bug][storage] Takeover spawns before reclaim: old and new sidecars simultaneously hold index.db, causing corruption; em | [Bug][storage] 接管时先 spawn 后回收:新旧侧车同时持有 index.db 引发损坏;空 payload_json 又让历史会话静默变 0 #7156 复现(第二条连接 3 行 UPDATE 即损坏活库)证明 open 期写入正是高危窗口。

  2. 什么原因导致的:信任边界被错误地实现为「全表」——[bug] Fold anchor detaches after host restart (parent-gone): hydrated and unified-shadow DIGEST DRIFT within the same second, gap solidifies without self-healing (0.1.197, complementary to #3013 restart path) | [bug] 宿主重启(parent-gone)后 fold 锚点脱锚:hydrated 与 unified-shadow DIGEST DRIFT 同秒,缺口固化不自愈(0.1.197,与 #3013 重启路径互补) #3285 的跨进程信任交接在 open 时一次性清掉所有会话的水位线。但信任边界其实是逐会话的:一个进程只需不信任「它没设过的、它即将保存的那个会话」的水位线。全表重置把逐会话的信任判决放大成全表写,制造了 open 期写入。

  3. 影响范围与严重程度:

  4. 怎么修复的:删全表重置(resetAllIngestWatermarks),改 UnifiedStore.primeIngestTrust(sessionId)——本进程首触某会话时(读水位线前)只清该会话的外来水位线(→下次保存走精确全量、用本进程视图重建信任),同进程后续触碰幂等无写;未触碰会话水位线原样保留。mysql 后端接口同步。

  5. 是否有回归问题:审过既有行为,逐项:

    • 信任判决逐字节一致(核心不变量,已逐点核对):旧全表重置下每会话首存走全量(水位线被 open 清),新 prime 下每会话首存也走全量(水位线被首触 prime 清);后续都走 delta(水位线由本进程设)。SQLite 路径同步无竞态;mysql 经 enqueue 单队列串行化(shadow.ts:1187)无并发 prime 竞态。全仓仅 2 个水位线读点(ingestDelta shadow.ts:678 + 漂移路径 shadow.ts:1228)均已 prime;其余 ingestSession 调用点(shadow.ts:550/822/1333、store.ts:3358/3420)全 delta=undefined 走全量、无需 prime。
    • open 零写(行为变更,已披露):旧=open 写(全表重置)→新=open 不写。本 PR 核心目标。
    • pre-verdict 损坏不再拦 boot(行为变更,已披露):旧=大库 pre-verdict 损坏在 open 首写抛错→拒启索引(return null,无 sidecar);新=boot 成功、损坏在首次 ingest 写大声失败+latch(noteIngestFailure 新增损坏分类,仅对 sqliteCorruptionDetail 判定的真损坏 SQLITE_CORRUPT/NOTADB/markers 触发,非 transient 错误)。终态一致(envelope 兜底+状态面暴露 proven-corrupt),路径不同(新代码 shadow 不 disable、每次保存重试失败回退 envelope,与既有「每次保存重试」行为一致)。
    • 高危模式逐项过:无 fail-fast 变吞错(损坏仍大声 error+latch);无阈值/时序/输出格式漂移;无缓存/重试策略静默失效(水位线信任判决逐字节一致)。
  6. 是否破坏缓存:不涉及。水位线是 ingest 信任判决,非 prompt cache/重试游标/去重键。逐会话 prime 不改变任何缓存失效策略。

  7. 是否改了设计方向:不涉及架构转向。信任边界从「全表」收窄到「逐会话」,是同一机制的更精确实现(非新方向)。数据流不变(open→ingest→水位线读→全量/delta 判决)。

  8. 是否引入了新的配置:不涉及。无新 env/config/默认值。

测试有效性:

  • tests/per-session-ingest-trust.test.ts(新增 122 行):钉「open 不清水位线/prime 单会话+幂等+全量重设信任链」——A 存两会话各得水位线→B open 不清任一→prime 仅 sessX(sessY 保留)→二次 prime 幂等→sessX 下存走全量(3 行替换,非 2 旧+1 追加)。断言有牙(非恒真),回归能抓。
  • tests/issue7156-storage-corruption.test.ts FIX4 重写:corrupt page 下 boot 成功+首次 ingest 大声失败+latch。钉新语义。
  • tests/storage-ingest-watermark.test.ts handoff:改钉「open 不清+首触 prime+全量路径」(安全性质不变:deltaIngests 仍 0、A 行被替换、无 drift)。
  • tests/storage-mysql-seam.test.ts:接口同步(stub resetAllIngestWatermarks→primeIngestTrust)。

diff 整洁度:9 文件 +218/−39,每行都与本 PR 目的相关(storage 接口+实现+4 测试+CHANGELOG)。无无关改动/mass whitespace/锁文件 churn。

代码整洁:命名达意(primeIngestTrust/ingestTouchedThisProcess);无死代码;无重复(sqlite/mysql 各一份实现,符合后端分离);错误处理完整(损坏分类带上下文);无魔法数字;注释讲为什么(#3285 信任边界、#7156 高危窗口);风格一致;无新依赖。

合并判定:可合。方向正确(根因非症状)、核心不变量(信任判决逐字节一致)已逐点核对、CI 全绿、测试有牙、diff 干净。唯一行为变更(open 零写 + pre-verdict 损坏不拦 boot)已披露且合理(#7156 事故面收尾)。注意与 #7424 的 maybeOpen 区域小冲突(两行文案级重叠),合并顺序按 PR 正文提示处理即可。

@ranxianglei ranxianglei added bug Something isn't working p1 scope/storage labels Nov 21, 2026
…rk, #7156 事故面)

UPDATE sessions SET last_ingested_seq = NULL —— 它让 open 本身变成
一次写,且一次性触碰每个会话。opencode 对照研究(同 SQLite+WAL、
多客户端并发多年无损坏)确认了纪律边界:多进程 WAL 库的稳态是
「只排队写、绝不在 open/维护窗口制造协议外写入」;#7156 复现
(第二条连接 3 行 UPDATE 即损坏活库)证明 open 期写入正是高危
窗口。

信任边界其实是逐会话的:一个进程只需要不信任「它没设过的、它
即将保存的那个会话」的水位线。resetAllIngestWatermarks() 删除,
改为 UnifiedStore.primeIngestTrust(sessionId):本进程首次触碰某
会话时(读水位线前)只清该会话的外来水位线(下一次保存走精确
全量路径、用本进程自己的视图重建信任),同进程后续触碰幂等无
写;从未触碰的会话水位线原样保留。对 (进程,会话) 逐一点对,
信任判决与旧全表重置逐字节一致。

行为变化:open 零写 —— 大库 pre-verdict 损坏不再拦 boot(boot
成功,损坏在首次保存的大声失败 + 后台 quick_check 判决落定后由
状态面暴露);#7156 的 first-write 分类保留覆盖 open 路径裸写
(migration/DDL)。noteIngestFailure 新增损坏分类:ingest 写撞
proven corruption 时大声 error + 置完整性 latch(此前的唯一
暴露面是 open 期那一次写)。mysql 后端接口同步。

回归:tests/per-session-ingest-trust.test.ts(新增:open 不清
水位线 / prime 单会话 + 幂等 + 全量重设信任链)、
tests/issue7156-storage-corruption.test.ts FIX4 重写为新语义
(corrupt page 下 boot 成功 + 首次 ingest 大声失败 + latch)、
tests/storage-ingest-watermark.test.ts handoff 用例改钉「open
不清 + 首触 prime + 全量路径」(安全性质不变:新进程首个保存
仍全量、零 drift)、tests/storage-mysql-seam.test.ts 接口同步。
@ranxianglei
ranxianglei force-pushed the fix/per-session-ingest-watermark branch from 0fa7eac to 899645a Compare November 21, 2026 10:09
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

PR 冲突已解决:把 master(98fa9575f10)rebase 进分支 fix/per-session-ingest-watermark,原 head 0fa7eacf4be → 新 head 899645ae186,已 force-push。merge 状态 dirty → mergeable: true(当前 blocked 是等 CI/评审,不是冲突)。

解了 2 处文本冲突 + 1 处语义冲突

  • CHANGELOG.md:master 与本 PR 都在 ### Fixed 顶部加条目,保留全部三条(master 的纯 SQLite 拒启 + 信封导入,本 PR 的逐会话惰性 prime)。
  • src/storage/shadow.ts:取 master 侧——master 已把 recordSidecarOpenFailure + integrityQuickCheckFailed 收进共享 helper applyProvenCorruptionPolicy(shadow.ts:112-132),PR 那两行是重复记录,删掉。
  • tests/issue7156-pure-sqlite-refusal.test.ts:234(语义冲突):master 这条用例断言「first-post-open-write 损坏在纯 SQLite 姿态下 REFUSES TO START」,但它依赖的 open 期写(resetAllIngestWatermarks)被本 PR 删除,rebase 后必挂(Missing expected exception)。按 PR 自己重写 FIX4 的同款新语义改写:open 零写 → 预判决损坏照常 boot → 首次 ingest 写大声失败 + 置 latch。

本地定向验证(非全量,全量交给 CI)

  • PR 的 4 个测试文件(issue7156-storage-corruption / per-session-ingest-trust / storage-ingest-watermark / storage-mysql-seam):29/29 绿。
  • 改写后的 pure-sqlite-refusal:5/5 绿。
  • storage 相关 8 个文件(storage-unified / backend-contract / durability / envelope-import-block-lineage / issue4816-integrity-throw-quarantine / acp-status-storage-degraded / web-storage-banner / storage-save-path):63 用例 61 过 2 跳 0 红。
  • npm run typecheck:退出 0。

⚠️ 需 owner 留意的跨 PR 交互(非阻塞;PR 已披露该行为,我按披露落地)
本 PR 的「open 零写」使 #7173 的纯 SQLite 拒启在「大库 + 预判决未落」场景下不再于 open 期触发。现在纯 SQLite 姿态下只有两条路会拒启:① 小库同步 quick_check、② open 路径 migration/DDL 裸写;大库预判决损坏改为 boot 成功、首次保存大声失败 + 状态面暴露。纯 SQLite 姿态下索引是唯一持久副本(无信封兜底),所以这一变化把该姿态下大库损坏的「拒启保护」从 open 期后移到了首次保存期——首次保存前进程已在服务。PR CHANGELOG 已无条件披露此行为变化;若 owner 认为纯 SQLite 姿态应保留 open 期拒启,需另开决策改 PR 代码(超出本次解冲突范围)。

八问

  1. 是什么问题:PR 分支与 master 冲突(merge state dirty),需 rebase 解冲突才能合并。
  2. 什么原因导致的:本 PR 删除 open 期全表水位线写(resetAllIngestWatermarks),而 master 同期([PR] fix: #7156 storage-corruption fallout — webSummaryRows json_valid guard, .chk close-time gate, first-write corruption classification #7173)新增了依赖该 open 期写的纯 SQLite 拒启逻辑(收进共享 helper)+ 一条断言该行为的测试——两侧对同一代码区做了不同假设,rebase 时产生文本冲突 + 测试语义失效。
  3. 影响范围与严重程度:仅本 PR 分支的合并被阻塞;解冲突后不影响任何已发布行为。严重度:合并流程阻塞(非产品缺陷、非用户可见)。
  4. 怎么修复的:rebase master;文本冲突按「保留双方意图」解(CHANGELOG 三条全留、shadow.ts 取 master 的 helper 结构避免重复记录);语义冲突按 PR 已披露的新行为改写 master 的旧测试。
  5. 是否有回归问题:无。storage 相关 63 用例 + PR 29 用例全绿,typecheck 过。唯一行为变化是 PR 自身已披露的「open 零写」(见上 ⚠️),非本次解冲突引入。
  6. 是否破坏缓存:不涉及(纯存储层改动,无缓存/重试/增量游标/去重键语义变化)。
  7. 是否改了设计方向:本次解冲突未改方向;PR 本身的方向(逐会话惰性 prime 取代全表 open 期重置)是 PR 作者已定的,我未改动。
  8. 是否引入了新的配置:不涉及。

收工判定:冲突已全部解决,分支 899645ae186 已 force-push,mergeable=true,等 CI 与评审。

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

bug Something isn't working p1 scope/storage

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant