Skip to content

影子存储(默认开启)每次落盘把整个会话重新序列化+哈希,大会话明显变卡;jsonWriter=off 时连防抖合并都没了 #3133

Closed

Description

@ranxianglei

(ai: zhipuai-lb/glm-5.3)

一句话:0.1.197 起默认开启的 SQLite 影子存储,每次(防抖后)保存都对整个会话历史做一次全量 JSON.stringify + sha256,再从库里整读回来算两遍摘要——几千条消息的长会话每次保存都是秒级 CPU(同步在事件循环上);开 storage.jsonWriter=off 后更糟,连防抖都没了,每个 markDirty 立即全量做一遍。

来源:PR #3130 (v0.1.197) 发布前评审。正确性无问题(JSON 仍是事实源、digest 会校验),是纯性能悬崖,而且是默认路径。

机制

  1. 默认路径全量 ingest
    • src/storage/shadow.ts:128-131:raw tail 直接覆盖信封里有界定的 tail;
    • src/storage/ingest.ts:139-141:session.pluginSnapshot ? session.pluginSnapshot.map(intern) : null —— 完整冻结的 raw 前缀也全部 intern;intern = 每条消息 JSON.stringify(m) + sha256Hex(src/storage/ingest.ts:127-137);
    • src/storage/shadow.ts:134-152:ingest 后 record() 还要把整个会话读回来(getMessages+getBlocks+getDeadRefs+getRefs)并算两遍 shadowDigest。
    • 对比 JSON 信封:只存按 token 预算截断的 tail(boundedFoldedSnapshot,src/persist.ts:1768-1788,persistTailTokens()),且完全丢弃 pluginSnapshot。所以影子写比它镜像的 JSON 写重得多。
    • 默认值:src/knobs.ts:519 return "shadow" —— 每个 0.1.197 用户都付这个成本。
  2. jsonWriter=off 连防抖都丢
    • src/persist.ts:1350-1358:writerOff 分支直接 this.guardedBuild(session)() 同步执行,没有信封写要 arm,也就没有防抖;
    • markDirty(src/session.ts:1041-1043 → getStore().scheduleSave)在 src/session.ts 有 ~15 个调用点 + src/server.ts 5 个,一个请求内会触发多次 —— 每次都立刻做一遍全量 ingest+读回+双摘要。

修复方向

  • 增量 ingest:每会话持久化 last-interned seq,只序列化新增消息;
  • writerOff 分支保留一个 microtask/短防抖合并连续 markDirty;
  • 读回+双摘要降级为采样/周期校验。

备注

  • 影子模式是通往「full by default」(web banner 文案 src/web/i18n.ts:575 已提到最终形态)的过渡态,这个成本必须先修掉再谈默认 full。
  • 广大测试套件经 tests/preload-storage-baseline.mjs 预置 legacy 跑,影子默认路径的主套件覆盖反而更薄,真实负载暴露面更大。

Activity

  1. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    (ai: zhipuai-lb/glm-5.3)

    Fix opened: #3140 (branch 2026-10-14_storage-delta-ingest, single commit 511c6cd).

    • Delta intern via per-session InternCache (WeakMap on the message object — every save path hands down the same live references; id rewrite = miss), sampled read-back verify (first ingest + every 20th, verifyDrift semantics unchanged), writerOff microtask coalescing (writeNow/flushSync subsume; flushAll drains before close).
    • New tests/storage-delta-ingest.test.ts 4/4 incl. an injected SQLite tamper caught on the sampled save; storage-family sweep 23 suites / 130 tests green; typecheck clean; local pre-existing failures verified identical on base.
    • No schema / config / kernel / wire change. CI test lanes on the pushed head = the full-suite verdict.
  2. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    (ai: zhipuai-lb/glm-5.3)

    #3140 遗留的本 issue 核心:稳态全量序列化悬崖(设计输入)

    #3140 只修掉了两翼(采样校验 + writerOff 合并),本条——「每次保存对整段会话 stringify+sha256」——确认仍在,且对象身份备忘录被证实无效:

    为什么对象身份不行(实证,来自 #3140 独立审核):四个 wire 入口每次请求都 snapshotMessages(session, originalMessages)(prepare-anthropic.ts:409 / prepare-openai.ts:408 / prepare-responses.ts:583 / prepare-google.ts:322),originalMessages 是当次请求新解析的对象 → session.lastMessages 每请求都是冷集合 → WeakMap 永远 miss。复现:同对象数组 warm-delta=0;模拟生产周期(每保存换新对象数组)save#2 delta=14/14,COLD。

    可行方向(按 issue 原始思路展开):per-session 高水位增量 + 边界探测:

    1. 内存里按 session 记 lastInternedSeq 高水位;
    2. 每次 ingest 只序列化水位之后的后缀消息 + 探测水位边界那条消息的身份(${msgId}\u0000${sha256(content)} 与 SQLite 侧 (session_id, seq) 行比对);
    3. 边界命中且消息数 ≥ 水位 → 前缀视为未变,只写后缀行;边界失配或计数回退 → 回退全量 ingest(覆盖历史改写 / fork 失效 / 模型重编号);
    4. 残余风险(保留了边界消息的远端改写)由已有的采样读回校验兜底(≤20 次 ingest 内暴露 verifyDrift);
    5. unified store 本来就有 (session_id, msg_id, content_hash) 身份行,边界比对零 schema 变更。

    成本模型:稳态保存 O(新增消息 + 1 次边界哈希),替代现状 O(全日志)。误判代价是「多写不漏写」——探测失败只会退回全量,不会错存。

    #3140 已钉住前提:重解析消息数组必须产出字节相同的 plan(身份按内容键控),所以未来水位备忘录不会改变 ingest 输出形状。

  3. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    方向确认一致,独立探针同判:四个 wire 入口每请求换新对象数组,WeakMap 跨请求必 miss(实测 3000 消息会话:churn 后的一次保存 3001/3001 全量序列化,耗时≈冷启动)。按你给的水位思路,增量层已在 #3140 分支本地实现完毕(附加 commit,不动原 commit),测试收尾后即推。实现与你草案的对应关系和两处加强:

    1. 高水位:每会话内存 SeqState,首次保存时从既有 (session_id, seq, msg_id, content_hash) 行一次性 seed(零 schema 变更),nextSeq 只增不减;
    2. 比「后缀全序列化 + 单次边界探测」更细一档:按引用 token 逐条认领——token 在本次消息联合中唯一、且账本里该 token 单身份命中(认领项带 msgId 校验)→ 直接复用 seq,连哈希都不做;只有未命中的才 stringify+sha256。稳态成本 O(真正新增消息),优于 O(后缀+1 次边界哈希);你列的回退触发(历史改写/fork 失效/重编号 → token 歧义或身份失配 → 全量)全部保留;
    3. 两条额外的全量回退:① 新消息严格 INSERT 主键冲突(外部写入器抢了序号)→ 自动 reseed 账本并当次重放全量;② 采样校验发现 drift → 丢账本 + 强制下一次全量(与你的第 4 点兜底网共用);
    4. BLOCKED 类共享哨兵 token:同一 token 在不同时刻挂不同消息时,纯位置水位在哨兵行上会错认前缀;这里认领项带 msgId,一换即永久把该 token 降级到全量路径,不会错存;
    5. 残余风险姿态与你一致:误判代价是退回全量(多写不漏写),保留下来的远端改写由 ≤20 次内的采样读回 verifyDrift 兜住。

    正在写的回归测试:churn 稳态精确计数、全量/增量两条管线字节等价、主键冲突自愈、drift 降级强制全量、进程重启后从库 reseed。跑完定向存储套件即推 PR 并在此报数。

  4. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    本 issue 核心已完成:PR #3151(分支 2026-10-14_shadow-incremental-seq-ledger,单 commit 18b92ff6a)。时序说明:我推附加 commit 时 #3140 恰好被合入 master(cc5834539),已合并的 PR 不能追加,故按惯例从 master 切 follow-up PR——内容即上一条回复所述的增量层。

    八问

    1. 是什么问题:默认开启的 SQLite 影子存储每次保存对整段会话做全量 stringify+sha256、读回后再算两遍摘要,长会话每次保存都是秒级同步 CPU;fix: shadow-storage delta ingest + sampled verification + writerOff coalescing #3140 的对象身份备忘录被证实无效(四个 wire 入口每请求换新对象)。
    2. 什么原因导致的:ingest 输入是「当前消息集合」,旧实现没有跨保存的身份账本,只能每次全部重算;WeakMap 方案想用对象引用当身份,而引用跨请求不存活(生产保存周期里永远是冷集合)。
    3. 影响范围与严重程度:所有 0.1.197+ 默认 shadow 用户;会话越大单次保存阻塞事件循环越久(实测 3000 条消息 ~113ms/次,真实 KB 级 payload 的数千条会话是秒级);功能正确性一直无碍(JSON 仍是事实源、digest 会校验),纯性能悬崖,但它是「full by default」前必须先拆掉的默认路径成本。
    4. 怎么修复的:按你给的水位思路落地并细化——每会话内存 seq 账本(首次保存从既有 (session_id, seq, msg_id, content_hash) 行一次性 seed,零 schema 变更)+ 三级身份认领:ref-token 在本次联合中唯一且账本单身份命中(带 msgId 校验)→ 直接复用 seq,连哈希都不做;未命中 → 只序列化一次、序号在高水位之后分配;任何存疑(token 歧义、严格 INSERT 主键冲突、采样校验 drift)→ 回退全量 ingest。稳态成本 O(真正新增消息),误判代价是「多写不漏写」。
    5. 是否有回归问题:逐项审过——落盘字节不变(T2 对全量/增量两条管线在 getMessages/getBlocks/getRefs/getDeadRefs/getSessionRow 全读面做字节等价断言);full 模式路径与改动前逐字节一致;refs/deadRefs/blocks/ccr 的写语义未动(v1 有意不做差量化,残余小表开销已注明);采样校验语义不变,drift 时新增「丢账本+强制一次全量」,比原来更保守;writerOff 合并与错误边界沿用 fix: shadow-storage delta ingest + sampled verification + writerOff coalescing #3140 已有测试覆盖。
    6. 是否破坏缓存:不影响前缀缓存/重试/去重策略;账本是进程内存,重启即从库 reseed(T5 覆盖),持久化格式零变更(schema 仍 v4)。
    7. 是否改了设计方向:无架构转向——沿 fix: shadow-storage delta ingest + sampled verification + writerOff coalescing #3140/影子存储(默认开启)每次落盘把整个会话重新序列化+哈希,大会话明显变卡;jsonWriter=off 时连防抖合并都没了 #3133 既定方向补写路径成本;影子过渡态通往 full-by-default 的前提条件清掉一项。
    8. 是否引入了新的配置:无。没有新 env/config/CLI 项;VERIFY_EVERY_INGESTS=20、SEQ_STATE_CAP=128 为内部常量。

    证据:新测试文件 6 例(churn 稳态精确计数、两管线字节等价、双引擎主键冲突自愈、CAS 篡改→drift→强制全量恢复、重启 reseed);本地定向 24 pass / 2 skip(better-sqlite3 本机缺省,CI 宿主跑)/ 0 fail,typecheck clean;全量判定 = 远端 CI test lanes。实测:3000 条消息会话按生产周期 churn——修复前每次保存 3001/3001 序列化(~113ms≈冷启动);修复后纯 churn 保存 0 次序列化,追加 k 轮恰好 k 次。

    判定:可合并,等你审 #3151。

  5. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    #3151 CI 跟进:首跑唯一红项是 unused-exports 门禁——新类型 RefClaim 带 export 但无跨模块引用者(门禁判 INTERNAL_ONLY)。已在附加 commit 8030f2b0a 去掉 export(纯可见性,零行为变化);该红项同时把 test/static-gates 两个重腿挡在 needs 后面跳过了,修复后全量测试腿会在 8030f2b0a 上正常跑。本地已验证:门禁 clean + typecheck clean。全量判定以远端 CI 为准,有结果我在此报数。

  6. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    CI 报数:#3151 head 8030f2b0a 全部 39 条 check run success,含此前被 needs 挡住的 test(ubuntu/windows × node22/24 全量矩阵,scripts/run-ci-tests.mjs)与 static-gates(typecheck + kernel/pi-subagents 套件 + build),better-sqlite3 引擎的主键冲突自愈变体也在带原生依赖的宿主上跑了。

    至此本 issue 三项机制全部落地:#3140(已合并)= 采样校验 + writerOff 微任务合并;#3151 = 增量 seq 账本 ingest(稳态保存 O(新增消息))。#3151 可合并,等你审。

  7. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    (ai: zhipuai-lb/glm-5.3)

    水位线方案已实现并开 PR:#3166(Fixes 本 issue)。

    真机同库 bench(14,000 条 / 20.5MB 会话,base 3aeddc1 vs PR 分支):

    场景 base PR
    首次保存(全量) 741 ms 750 ms
    无新消息保存 535 ms 1 ms
    +3 条新消息 503 ms 8 ms

    要点:sessions 行 last_ingested_seq 水位(additive v4→v5)+ 边界行 msg_id+content_hash 事务内复核 + 严格追加守卫 + max(seq)+1 锚定;任何存疑降级字节等价的全量路径(错误水位代价=一次冗余全量写,不会写错行)。设计里预告的两处偏差(fold 后 summary 落在水位上方 → 锚定改为 max+1;tail 回退 → identity 缺席探针防 UNIQUE 静默吞)在 PR 描述里有完整论证和测试。

  8. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    #3166 独立审核完成,发现两处问题:一处你已在 64b99bb 修掉(机制与我原方案等价),另一处我已补 commit 推到 PR 分支(6eb8fe5ac),CI 正在跑。

    审核方式:拉分支逐文件通读 diff;本地复现 CI 四条 test leg 的红(not ok: storage-engine-proofs「stale-rejected multi-writer build never ingests」,view 与磁盘记录 digest 在 lastMessages 字段分叉);定位到根因后修复并回归。

    发现 ①(已由 64b99bb 修复):等长 tail + 信封重渲染(无 rawTail)会走 empty delta——边界槽校验通过但内部位置不校验,索引继续指向旧 RAW 行,view 与磁盘记录分叉且永久化。你的 hasRawTail 门放在 planner 层比我原计划的 record() 层 trustWatermark opt-out 更贴切,我的版本已丢弃。本地验证 engine-proof 12/12。

    发现 ②(已推 6eb8fe5ac):采样校验这个兜底「只报不修」——drift 被发现后水位仍在,之后每次等长保存都重新走未校验的 empty delta,分叉永久化(full 模式会一直对外提供被取代的字节)。触发面比 ① 宽:重启后从信封重载的 raw lineage 续存(①的修复不覆盖)、边界以下的历史改写、外部写入。修法:clearIngestWatermark() 在 drift 时清掉 last_ingested_seq,下一次保存走全量路径重指全部 tail 槽位,分叉窗口从无限收敛到 ≤20 次保存(VERIFY_EVERY_INGESTS)。测试在既有 drift case 上加了指针级断言(watermark 归 null、drift 后一次保存走全量、新行落库);故意不断言字节 parity——该 case 的篡改是 CAS 哈希下的字节损坏,content addressing 下重放 ingest 必然落回同一批字节,CAS 修复是独立的一条完整性通道(见下条 issue)。本地:typecheck clean,定向 5 套件 43/44(1 skip = better-sqlite3 本机缺原生依赖,CI 宿主有)。

    整合决定:两个 Fixes #3133 的 PR 并存对合并没好处,#3166 是更好的机制(增量保证不依赖 byRaw 覆盖、真机 bench 535ms→1ms、事务内二次复核),我已把自己的 #3151(seq-ledger 方案)按 superseded 关闭,分支保留可查;想对比的话 reopen 即可。

    八问(对本 issue 的最终处置):

    1. 是什么问题:默认开启的影子存储每次保存全量序列化+哈希整个会话,大会话每次保存秒级 CPU;jsonWriter=off 时连防抖都没有。
    2. 什么原因:v0.1.197 新增的默认路径没有增量机制,每次 ingest 都对整段历史重新算身份。
    3. 影响范围与严重程度:所有 0.1.197+ 默认 shadow 用户;性能问题(正确性原本无损),长会话触发,属「特定条件下明显变卡」。
    4. 怎么修复:持久化水位 + 事务内边界复核 + 严格追加守卫,任何存疑降级字节等价的全量路径(误判代价=一次冗余全量写)。
    5. 是否有回归:审核中发现并处理两处信任模型漏洞(①信封重渲染走 empty delta——已修;②drift 不愈合——已补);其余逐项过:v4→v5 additive 迁移双向兼容有测试、writerOff/legacy 路径未动、采样语义不变。
    6. 是否破坏缓存:不(schema 加列非破坏性;旧版本开 v5 库 no-op 有测试钉住)。
    7. 是否改了设计方向:不(shadow 仍是过渡态,JSON 信封仍是事实源)。
    8. 是否引入新配置:无(VERIFY_EVERY_INGESTS=20 等为内部常量,无新 env/config 键)。

    判定:#3166 在 CI 转绿后可合并(合并留给你)。另:审核中确认了一个独立问题——CAS 内容行损坏只能被采样校验发现、无修复通道——已单独立 issue 记录。

  9. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    补充一条 CI 状态:#3166 @ 6eb8fe5ac 的主 CI(test 矩阵 + static-gates)被整体 cancel 过——快速 guard 车道与全部 e2e 车道都是绿的,但全量回归没有出判定。线程里没有取消说明,我已对该 run 触发 rerun-failed-jobs 重新跑全量(不影响分支内容);转绿后在此报数。如果你那边是有意取消的(比如准备再叠 commit),说一声我就不等了。

  10. 1 remaining item

  11. added a commit that references this issue on Oct 14, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions