Skip to content

[PR] fix: keep unified session ingestion current with retained originals - #4218

Closed
ReineLan wants to merge 2 commits into
ranxianglei:masterfrom
ReineLan:2026-10-22_storage-orphan-sync
Closed

ReineLan wants to merge 2 commits into
ranxianglei:masterfrom
ReineLan:2026-10-22_storage-orphan-sync

Conversation

@ReineLan

@ReineLan ReineLan commented Oct 21, 2026 •

Copy link
Copy Markdown
Contributor

When a reap removes a compression block while retaining its original text, UnifiedShadow.record() journals the originals and returns before ingesting the rest of the session. Every later save repeats that return. An existing unified row can remain hours behind the JSON envelope, and an eviction/restart then reloads old folds, messages and usage. The reported session had 876 requests in JSON but only 390 in SQLite.

Carry retained originals in the existing sessions.orphans_json field on every full/delta ingest, atomically with session metadata, message pointers and the authoritative block set. Remove the sync/queued save and organic-import skip paths. SQLite and MySQL both persist the journal; planner-supplied {} clears removed originals, while low-level callers omitting the optional field retain their existing journal. Keep the writer-off compatibility envelope and legacy status counter.

Fixes #4216. Follow-up to #3911 / #3841. No schema, config, kernel, or package-version change. This repairs persistence shared by proxy and plugin modes; it does not alter either mode's wire rendering or the separate learned-image-cost issue #4153.

Validation:

  • Regression was red before the fix on both sync and queued facades (390 !== 876); now passes, including watermark delta ingestion, retained-original imports, and cold reload.
  • Relevant storage suites: 93 passed, 2 environment-gated skips.
  • Private offline replay: all 60 existing original views retained; serialized state/stats/metadata/tail and completed original views round-trip exactly; cold load returns 876 requests, 87,866 input tokens, 59 blocks (5 active). No private conversation fixture is committed.
  • Typecheck, build, unused-export and test-import gates pass. MySQL SQL is covered by the DSN-enabled contract test in CI.
  • GitHub CI on this head: all three Ubuntu/Node 22 test shards, the real MySQL contract lane, both Linux/Windows static-gate lanes, and all repository guards passed. Still running at this update: test (windows-latest, 22, 1); test (ubuntu-latest, 24, 1); test (windows-latest, 22, 2). No completed check has failed.

@ranxianglei ranxianglei changed the title fix: keep unified session ingestion current with retained originals [PR] fix: keep unified session ingestion current with retained originals Oct 21, 2026
@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

查重:不重复。 本 PR 是 #4216 的修复 PR。按失败签名(orphans_json / orphanSkips / reap-journal early return / stale cold load)检索 open+closed issue 与 PR:无其他在途修复覆盖「unified ingest 永久停摆」这一机制。相邻条目核对:#3841(reap 块复活,已由 #3911 关闭——症状与机制均不同)、#4067(sidecar 不可读时的 envelope hydration 兜底——不同失效域)、#4177(storage durability trio——不同范围)。本 PR 与 #4216 一一对应,无并列重复 PR。

标签:pr · bug · codex · p1 · scope/storage(缺陷类;现场证据来自 Windows Codex 会话;冷加载恢复数小时前旧状态属数据陈旧/丢失类,按 2026-10-19 修订定 p1;统一存储 ingest 面)。

正在拉取分支独立审核代码与 CI 状态,结论按结构化八问随后给出。

@ranxianglei ranxianglei added bug Something isn't working codex p1 scope/storage labels Oct 21, 2026
@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

判定:可合并(独立审核,非复读 issue 侧结论;审核中顺手修了一处注释,已作为 additive commit ba2398da3 推到你分支,见文末)。

结构化八问

  1. 是什么问题:会话里压缩块被 reap(移除但保留原文)之后,统一存储(SQLite/MySQL 索引)从此不再跟进该会话——行冻结在 reap 前的快照,而 JSON 信封继续更新;淘汰或重启后冷加载把几小时前的旧折叠、旧消息、旧用量当成当前状态恢复。生产实例:JSON 876 个请求 vs SQLite 390。
  2. 什么原因导致的:UnifiedShadow.record()(及 importRecord、异步孪生共 4 处)发现记录里有「无块条目但保留原文」的内容时,先写 orphan 日志然后提前 return,整次 ingest(会话行 upsert、消息、块集)全部跳过;后续每次保存重复同样的 return,形成永久冻结。根因是「日志写入」和「正常摄入」被耦合进了同一个守卫:日志本应是摄入的一部分,却被当成了摄入的替代。
  3. 影响范围与严重程度:默认 full 模式下,任何经历过 reap-保留原文路径的会话都会中招;触发面随 [PR] Storage wrap-up, nine items in one batch: GC/archive + reap ledger + media CAS + incremental pointers + dsh generation c | 存储收尾九项一车:GC/archive + reap 台账 + 媒体 CAS + 增量指针 + dsh 代压缩默认开 + 多实例文档 (#3901) #3911 类 reap 场景出现而扩大。严重度 p1 级——不是崩溃,而是静默的数据陈旧:重启/淘汰后用户拿到的是旧会话状态(折叠回退、消息缺失、用量统计失真),且无任何报错提示。有绕行(JSON 信封始终最新,legacy 读取不受影响),故未达「完全不可用」。
  4. 怎么修复的:把保留原文从「旁路日志」改成「每次摄入的权威快照字段」——finishPlan(full 与 delta 两条计划共用)从活记录的 blockContents 计算出不属于任何存活块的条目,序列化进既有的 sessions.orphans_json,与会话元数据、消息指针、权威块集在同一事务内原子落库;删除 4 处提前 return,orphan 形状的记录走正常摄入。读侧不变:loadLegacyView 照旧从该字段水合 orphan 条目,损坏时回退信封。
  5. 是否有回归问题:无。逐项审过的既有行为及结论见下方清单;高危模式逐项排除——语义漂移(仅 orphan 形状行为变更,已披露)、fail-fast 变吞错(无,异常路径原样)、阈值/时序漂移(无)、输出格式变化(wire 渲染两条模式均未触碰,PR 声明与 diff 一致)。
  6. 是否破坏缓存:不涉及。前缀缓存接缝、delta 水位线(ingestWatermark/boundary 探测)、重试策略均未改动;日志只是搭同一次 upsert 的车。delta 路径确实携带日志(测试以 deltaIngests === 1 钉住)。
  7. 是否改了设计方向:没有转向。[PR] Storage wrap-up, nine items in one batch: GC/archive + reap ledger + media CAS + incremental pointers + dsh generation c | 存储收尾九项一车:GC/archive + reap 台账 + 媒体 CAS + 增量指针 + dsh 代压缩默认开 + 多实例文档 (#3901) #3911 建立的「reap 不复活 + 原文可 recover」机制保持不变,本 PR 只是把日志的写入时机从「reap 时增量追加」改为「每次摄入权威快照」——同一字段、同一读者、同一回退,机制更简单而非更复杂。
  8. 是否引入新的配置:无。无新 env/knob/CLI flag;无 schema 迁移(列由 [PR] Storage wrap-up, nine items in one batch: GC/archive + reap ledger + media CAS + incremental pointers + dsh generation c | 存储收尾九项一车:GC/archive + reap 台账 + 媒体 CAS + 增量指针 + dsh 代压缩默认开 + 多实例文档 (#3901) #3911 建好);无 kernel/package 版本变更(diff 确认)。

行为变更披露(旧值 → 新值 + 原因)

# 变更 旧 新 原因
1 orphan 形状记录的摄入 永久跳过(行冻结) 正常摄入,原文随行落 orphans_json 修复本体(#4216)
2 orphans_json 语义 reapBlocks 增量追加 每次 full/delta 摄入从活记录算权威快照;planner 给 {} 即清空旧日志;低层调用者省略该可选字段则 COALESCE 保留现值 信封是唯一事实源,日志必须镜像它;增量合并会让已被宿主丢弃的原文借日志复活
3 writerOff 下兼容信封的日志级别 warn info(措辞同步更新) 该状态从「异常」变为「正常运行」(降版本兼容副本)
4 orphanSkips 计数 递增 恒为 0(字段保留做状态兼容) 跳过路径已不存在;计数器按 PR 声明保留为 legacy 状态位
5 importRecord 对 orphan 记录的返回值 null(走 legacy 兜底构建) 解析后的视图(冷加载直接服务) 内容等价,更便宜;索引现在也带日志,后续 viewFor 不再丢原文

既有行为审计清单(②)

  • 普通(无 orphan)摄入:finishPlan 产出 {},upsert 用空快照覆盖旧日志——正确(镜像活记录),会话行其余字段不受影响。✓
  • delta 水位线路径:planIngestDelta → finishPlan 同样携带日志;水位线/boundary 逻辑零改动;测试钉住 deltaIngests === 1。✓
  • 低层直调 ingestSession 的调用方(省略 orphansJson):bind 为 null → COALESCE(excluded, 现有值) 保留既有日志,与 PR 描述承诺一致。✓
  • 读路径 loadLegacyView:空串/null/损坏日志的回退行为保持;水合只填 state.blocks 之外的 id(by construction 不相交),不可能覆盖真实块行。✓
  • 块行清扫(incoming set authoritative,store.ts:614-628):未动;reaped 行在下一次正常摄入的同事务内删除并释放内容引用,[PR] Storage wrap-up, nine items in one batch: GC/archive + reap ledger + media CAS + incremental pointers + dsh generation c | 存储收尾九项一车:GC/archive + reap 台账 + 媒体 CAS + 增量指针 + dsh 代压缩默认开 + 多实例文档 (#3901) #3911 的「不复活」保证现在真正可达(此前因冻结根本走不到这一步)。✓
  • digest 采样校验对称性:expect 腿(completeBlockContents 保留 orphan 条目)与 got 腿(水合)结构一致,不会因新字段产生假漂移;drift 时的水位线清除行为未动。✓
  • sync/queued 双 facade lockstep:enqueueAsyncRecord 与 sync 体逐段对齐,测试双跑。✓
  • writerOff 兼容阀(persist.ts:2326-2334):保留——为无法摄入 orphan 原文的旧版本留 JSON 副本,属降级兼容而非死代码;默认模式(每存必写信封)不受影响。✓
  • MySQL 对等:INSERT/UPSERT 加列 + mapper 读取;列已存在,无迁移;真实 MySQL 8.0 契约 lane 覆盖(见 CI)。✓

测试有效性(④)

  • 新增回归测试(sync + queued 双 facade):有牙——断言 390→876 推进、metadata/blocks/tail 新鲜度、b2 原文 deepEqual、冷重启后 87,866 tokens/[b1,b3]/b2。修复前必然红(旧代码第二次保存直接 return,视图停在 390),机制上确定,无需再在 base 上复跑。
  • 契约测试(sqlite + mysql 两 lane):round-trip 等价 + 原文变更可见 + 清空语义钉死(blockContents.clear() 后重摄入,size === 0,「removed originals must not reappear from an old journal」)——把「权威替换」这个关键决策变成了回归资产。
  • full-flip 更新:orphanSkips >= 1 → ingests >= 1,重启测试改断言统一读取,与新行为一致。
  • 一个弱点(不构成缺口):回归测试里的 verifyDrift === 0 实际只覆盖首次摄入(采样常数 20,此时 orphan 尚未出现);但 orphan 形状的读回等价已由契约测试直接钉住,采样验证只是周期性安全网。

审核中的顺手小修(已推,commit ba2398da3)

src/persist.ts:1508-1516 的 #3818 注释声称「索引只表示 state.blocks 内的 blockContents,无块条目的内容经 viewFor 重建会静默丢失」——本 PR 之后这句与代码事实不符(索引现在通过 orphans_json 也承载保留原文,后续 viewFor 不再丢)。按「注释与代码事实不符 = 缺陷」当场修正,纯注释 5+/6-,已推到你的 PR 分支,不影响你的提交归属。

另记一笔观察(不处置):reapBlocks 在生产代码中不再有调用方,保留为接口+双实现的定向原语,docstring 已改为「Targeted reap for callers outside normal ingestion」且有测试钉住——判断为合理保留,不算死代码。

CI 与本地验证

  • 原 head 096625658:核心 lane 全绿——test 6 shard(ubuntu 22×3 / ubuntu 24 / windows 22×2)、static-gates ×2、mysql-contract(真实 MySQL 8.0 服务)success、kernel/lane/docs/lock 等静态 guard 全过(actions/runs/39653677170)。19:58Z 的第二批触发是重复触发空 diff 被 cancel/skip,非覆盖缺口。
  • 本地定向跑了受影响的三个套件(reap-journal / backend-contract / full-flip):19 pass / 0 fail / 1 skip(mysql DSN 门禁,本地无 DSN 属预期)。
  • 注释 commit 后 CI 会在 ba2398da3 重跑(纯注释变更)。

收工判定:方向正确、机制到位、回归面干净、测试有牙——可合并,等 CI 在新 head 上确认后由你点合并(Agent 不代合并)。

@ranxianglei

Copy link
Copy Markdown
Owner

(ai: zhipuai-lb/glm-5.3)

陈旧票清理(第三批动作①):目标 issue #4216 已关。为避免重复劳动关闭本 PR;如判断有误请直接 reopen 并留言。

感谢 @0XCocoa 的贡献与排查——这条修复路径已被其他方式覆盖;欢迎认领其他 open issue。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[Bug][storage] Retained orphan originals freeze unified session ingestion; cold loads restore hours-old state

2 participants