Skip to content

[PR] fix: replay incremental cold history from ordered raw row pointers - #3802

Closed
yanhuojiyusheng wants to merge 1 commit into
ranxianglei:masterfrom
yanhuojiyusheng:2026-10-19_incremental-cold-view
Closed

yanhuojiyusheng wants to merge 1 commit into
ranxianglei:masterfrom
yanhuojiyusheng:2026-10-19_incremental-cold-view

Conversation

@yanhuojiyusheng

Copy link
Copy Markdown
Contributor

Fixes #3798

After an incremental client resyncs [A, B, C] (or edits only C), a cold canonical rebuild slices the audit table after its old row count. The store deduplicates shared message identities, so the acknowledged three-message history becomes empty or contains only the edited row. The next sinceSeq: 3 request incorrectly returns 409.

Persist the ordered raw tail row pointers in the existing session extension table, in the same transaction as full and delta raw ingests. Cold replay follows this list, preserving reused rows, order and repeated slots. Folded/envelope-only saves retain the last raw list; older sessions can use the existing tail pointers or legacy epoch fallback. Invalid or dangling pointers request resync, and an explicit full resync can replace that state. Keep the pre-resync write fence so an outgoing branch save cannot overwrite its replacement.

Validation:

  • Added real proxy/mock upstream regressions for identical and shared-prefix resyncs in both full and shadow storage, plus malformed-pointer rejection and recovery.
  • Added storage coverage for reordered/repeated identities, folded-only saves, plugin snapshots, delta appends and reopening SQLite.
  • node --import tsx --test tests/incremental-lane.test.ts: 24 passed.
  • node --import tsx --test tests/storage-ingest-watermark.test.ts: 16 passed.
  • node --import tsx --test tests/storage-save-path.test.ts tests/storage-json-writer-off.test.ts tests/issue3406-writenow-concurrent.test.ts: 8 passed.
  • npm run typecheck, npm run build, and git diff --check passed. Full-suite results are left to the remote CI lanes.

This affects the opt-in incremental lane. It adds an internal ordered-view extension value without a database schema migration or configuration change. Persistence/replay behavior needs human review; no kernel changes.

@ranxianglei ranxianglei changed the title fix: replay incremental cold history from ordered raw row pointers [PR] fix: replay incremental cold history from ordered raw row pointers Oct 19, 2026
@ranxianglei

Copy link
Copy Markdown
Owner

ework接单拿

@ranxianglei

Copy link
Copy Markdown
Owner

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

查重: 不重复 —— #3798 是该机制(增量车道冷重建丢共享前缀)的唯一 issue;open PR 里其余 incremental 相关项各管别的切面(#3797 system 传播、#3440 wire 契约、#3257 前缀快路径、#3466 GC、#3473 消息 id),没有第二个动冷重建/baseSeq 机制的。
标签: bug / scope/storage / p2(代理侧存储+车道缺陷;能用但特定条件下逼客户端全量重发)。

审核过程(独立于 #3798 线程的早前分析,重新做过)

  • CI:pushed head 28 success / 12 skipped / 0 fail。
  • rebase 验证:PR base(5afa77fd9)落后当前 master(39fb841d3)107 个提交;cherry-pick 到当前 master 干净应用。base 之后 master 只改过 src/storage/shadow.ts(Storage wrap-up: 6 fixes + switch default mode to full (single PR) | 存储收尾六修 + 缺省模式翻 full(一个 PR 统一处理) #3818 系列三个 commit:orphan-contents guard、driftedSessions、writerOff、默认模式翻 full),其改动 hunk 与本 PR 在 ingestDelta 内的一行 { completeLog: hasRawTail } 不相交;store.ts、incremental-lane.ts 自 base 以来 master 零改动(Snapshot rendering: proxy-lane outbound is now rendered authoritatively server-side; existing sessions are immune to ker | 快照渲染:proxy 车道出站从服务端正史渲染,存量会话对内核升级免疫(#3752 根治) #3756 是 base 的祖先,PR 本就基于它开发)。无语义冲突。
  • 本地定向验证(rebased 树):tests/incremental-lane.test.ts + tests/storage-ingest-watermark.test.ts 40/40 过;相邻回归面 storage-unified + storage-engine-proofs + issue3250-wal-checkpoint 31 过 / 1 skip;tsc --noEmit 干净。全量裁决以远程 CI 为准(push 头已绿)。
  • 测试有效性:新测试有牙——断言 HTTP 状态码、x-bili-applied-seq 具体值、转发 wire 前缀 deepEqual(字节级)、ext 指针值、审计表行数;参数化覆盖 full/shadow × identical-resync/edit-tail 四组合;坏指针测试双向断言(非 resync 409 → 显式 resync 恢复 200);watermark 测试钉住复用行/重复槽位([2,0,0])/folded-only 保存保留旧指针/delta 推进/重开持久化。bug 回归时(冷重建丢前缀→409)第一组测试必红。不是假测试。
  • 代码质量:命名达意、无死代码(删掉的 recordResyncBaseSeq 无残留引用)、错误处理带上下文(sessionId+原因)、无新依赖、无 as any;跨模块字面量 history:raw-tail-seqs(store 写 / lane 读)与既有 inc:% 前缀跨模块耦合同风格,判为一致而非缺陷。外部提交质量达标,无需对齐重构。

结构化八问

  1. 是什么问题:增量车道的客户端做完 resync(或只编辑尾消息)后,进程重启/LRU 淘汰导致冷重建时,服务端按「resync 前的表行数」切审计表当正史——共享前缀被整段切掉,canonical 变空或残缺,之后每个增量请求都 409,逼客户端全量重发。
  2. 什么原因导致的:统一 messages 表 append-only,而 ingest 对同 id/hash 消息复用已有行(去重)。旧机制的隐含假设是「新分支 = 旧分支行数之后的连续新行」,一旦行被复用这个假设就破了——epoch 用绝对行数当边界,切到的位置和新分支的真实起点错位。修的是假设本身(疏),不是在读取端再打补丁(堵)。
  3. 影响范围与严重程度:仅 opt-in 增量车道 + unified 存储 + 发生过 resync 轮次 + 遇到冷重建(重启或缓存淘汰)同时满足的会话;症状是被迫全量 reseed(客户端自持历史、审计表全量保留,无数据丢失)。p2:能用但有明显问题,需绕行一次。
  4. 怎么修复的:把「正史视图」从行数 epoch 换成有序原始行指针列表——每次完整日志 ingest(含 shadow delta 快路径)在同一事务里把指针镜像进 session_ext["history:raw-tail-seqs"];冷重建按指针取行重建顺序(校验非法/悬空指针,保留复用行与重复槽位);envelope/fold-only 保存不碰指针列表,天然保留最后一次完整 raw 列表(tail_json 本身会被 folded 视图改写,这正是需要独立载体的原因,有测试钉住);无指针的 legacy 会话原样回退旧 baseSeq 逻辑;坏指针 fail-closed(非 resync → 409 请求客户端 resync;显式 full resync 从空态接管替换);pre-resync write fence(writeNow 冲掉旧分支 pending 保存)保留。
  5. 是否有回归问题:逐项审过既有行为——孤儿 sweep 豁免条件(completeLog && !hasLaneExt)未变(仅注释改写,且该 sweep 只在 full 路径可达,delta 传 completeLog 不会触发它);watermark/delta 信任链、边界复验、严格追加守卫未动;ack header 契约(仅 2xx 打 x-bili-applied-seq)未动;503 legacy-only gate 未动;非车道会话的 serving 路径未动(ext 镜像是纯增量写);无指针 legacy 会话回退到与旧版逐字相同的行为。未发现回归。
  6. 是否破坏缓存:不涉及——前缀缓存、watermark、delta 游标策略全部未动;指针列表是新增的附加存储面。
  7. 是否改了设计方向:无架构转向;在 Delta lane: native-mode clients send only deltas, server maintains full state + one-time fold, upstream receives snapsho | 增量车道:native 模式客户端只发增量,服务端全量维护+一次折叠,上游只收快照(#2926 的泛化) #3248/影子存储(默认开启)每次落盘把整个会话重新序列化+哈希,大会话明显变卡;jsonWriter=off 时连防抖合并都没了 #3133 机制族内把 canonical 视图载体从「行数 epoch」换成「指针列表」,方向与 Snapshot rendering: proxy-lane outbound is now rendered authoritatively server-side; existing sessions are immune to ker | 快照渲染:proxy 车道出站从服务端正史渲染,存量会话对内核升级免疫(#3752 根治) #3756「seq 即身份」教义一致。
  8. 是否引入了新的配置:不涉及——无新 env/config/CLI 字段;session_ext key 是内部存储面。

行为变更披露(有意变更,旧值 → 新值)

面 旧 新 原因
冷重建源 baseSeq 行数切片 有序指针列表(缺指针时回退 tail_json,再回退 legacy baseSeq) 行复用使行数 epoch 失效(#3798 根因)
坏重建 + 显式 resync 一律 409 从空 canonical 接管,以客户端全量内容替换 验收要求:显式 full resync 必须能替换坏状态,否则坏指针列表会永久锁死会话
shadow delta ingest 不传 completeLog 传 completeLog: hasRawTail delta 是稳态保存路径,不更新指针则冷重建漏掉所有 delta 追加行
所有 unified 会话的 complete 保存 — 多一次 session_ext 小 JSON 写入(指针镜像) 让「full-resend ↔ 增量车道自由迁移」的会话在非车道流量期间也维持指针新鲜;代价 O(日志长度)整数数组,与 tail_json 同阶

结论

可合(人工合并;agent 不能 merge)。rebase 到当前 master 已验证干净,定向测试全绿,CI 绿,无回归发现,验收标准逐条有测试钉住。

@ranxianglei

Copy link
Copy Markdown
Owner

(ai: zhipuai-lb/glm-5.3)

陈旧票清理(第三批动作①):目标 issue #3798 已关。为避免重复劳动关闭本 PR;如判断有误请直接 reopen 并留言。

感谢 @yanhuojiyusheng 的贡献与排查——这条修复路径已被其他方式覆盖;欢迎认领其他 open issue。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

bug Something isn't working p2 scope/storage

Projects

None yet

Development

Successfully merging this pull request may close these issues.

Incremental resync loses shared history during a cold canonical rebuild

2 participants