Repository navigation
Description
环境
| 项 | 值 |
|---|---|
| billion-context | 0.1.208(同构代码在 0.1.212 daa082ea 上成立) |
| Node | v24.21.0 |
| OS | Windows 11 26100 |
| 存储 | 统一存储(index.db 487 MB,index.db-wal 61.8 MiB) |
| 会话 | 单会话 33,332 条消息,零并发 |
症状
同一会话连续 8 轮,全部 path=delta(快路径没有回退到 full):
slow-ingest path=delta took=689ms, 61.8 MiB WAL
slow-ingest path=delta took=748ms, 61.8 MiB WAL
slow-ingest path=delta took=689ms, 61.8 MiB WAL
slow-ingest path=delta took=748ms, 61.8 MiB WAL
slow-ingest path=delta took=721ms, 61.8 MiB WAL
slow-ingest path=delta took=752ms, 61.8 MiB WAL
slow-ingest path=delta took=687ms, 61.8 MiB WAL
slow-ingest path=delta took=732ms, 61.8 MiB WAL
方差 ±65 ms,均值 ≈720 ms。delta 每轮只追加几条消息,不可能产生「量这么小、方差这么小」的固定成本 —— 成本来自每轮都必须整体重写的东西,不是新增消息。
这 720 ms 落在 forward 之后、阻塞事件循环,会把下一轮的 read 从 ~120 ms 拉到 ~377 ms。
根因(代码层已核实)
UnifiedStore.ingestSession() 里 sessions 的 upsert:
INSERT INTO sessions (session_id, ..., meta_json, stats_json, metadata_json, kstate_json, tail_json, ccr_json, ...)
VALUES (@sessionId, ..., @metaJson, @statsJson, @metadataJson, @kstateJson, @tailJson, @ccrJson, ...)
ON CONFLICT(session_id) DO UPDATE SET
...
metadata_json = excluded.metadata_json,
kstate_json = excluded.kstate_json,
ccr_json = excluded.ccr_json,
tail_json = excluded.tail_json,
...delta 与 full 两条路径都走这段。delta 只优化了「往 messages 里插几行」和 tail 前缀校验,sessions 行本身仍是全量覆盖,与内容是否变化无关。
该会话这一行的实际体积:
metadata_json 8,678,660
ccr_json 2,445,546
kstate_json 1,822,041
tail_json 191,823
---------
12,938,070 ≈ 13 MB / 每次 save
metadata_json 内部按 value 长度排序:
3338590 cacheLedger
3154240 foldAnchors
1328297 foldPositions
705687 foldAnchorOrder
86132 foldExpectedRebase
47321 foldCoverageByBlock
16237 publicSnapshotStoredRefs
1049 effectiveConfig ← 配置类字段合计不到 2 KB
前四项 = 8.53 MB = 98%,全是折叠账本,随历史单调增长(≈260 B/条消息)。
也就是说:为了保存不到 2 KB 的配置快照和几条新消息,每轮重写 13 MB。
SQLite 更新一条 8.7 MB 的行,要重写该行覆盖的整条 overflow page 链,并把新页全部推进 WAL。这解释了三件事:
- 为什么
path=delta也慢 —— 快路径只省了 messages,没省 sessions 行; - 为什么耗时与消息条数无关 —— 只与账本体积有关;
- 为什么 WAL 涨到 61.8 MiB 后不再涨 —— 页被复用,不是每次追加。
与 #4528 / #5744 / #5755 的关系(去重)
- Long sessions starve the event loop: a 4,600-message session blocks the proxy and the web UI for 7–50 s per turn #4528:每轮对入站历史跑多条 O(消息数) 同步扫描,PR [PR] fix(#4528): yield to the event loop during long turns; warn on slow sessions #4544 让出事件循环(UI 不再冻结),总墙钟不变。本条不是「扫描」问题,是「写入体积」问题。
- 0.1.212: per-turn ingest is still O(history) — 96.5% of proxy CPU in StatementSync.run, event loop starves with 8 concurrent sessions (#4528 / #5469 follow-up) #5744 / PR [PR] fix(storage): refs ledger diffs instead of full-replace per save (#5744) #5755:把
refs/ccr_entries/blocks三张子表的「每轮 DELETE-all + 逐行 INSERT-all」改成「一次索引读旧集 → 内存 diff → 只写变化行」。sessions行自身的四个大 JSON 列不在这三条腿里,也不在 Remaining 清单([perf] delta-fallback saves still sweep O(full history) per turn (sliding-window / folded-resident views) #5756 / [perf] FK child columns ofcontentare unindexed — every releaseContent DELETE full-scansmessages#5539)里。我读完 0.1.212: per-turn ingest is still O(history) — 96.5% of proxy CPU in StatementSync.run, event loop starves with 8 concurrent sessions (#4528 / #5469 follow-up) #5744 全部 11 条评论,没有任何一条提到metadata_json/kstate_json/ccr_json的全量覆盖。 - 机制不同:那三条腿是「行数随历史增长、每轮重写全部行」;本条是「行数恒为 1、单行体积随历史增长、每轮整行覆盖」。前者靠 diff 行集,后者需要 diff 列,或把大字段拆出去。
建议(三层,按性价比)
1)最小改动:按列判变,只有变了才写。
JS 侧给每个大列缓存「上次写入内容的哈希」,未变则传 null:
metadata_json = COALESCE(@metadataJson, sessions.metadata_json),
kstate_json = COALESCE(@kstateJson, sessions.kstate_json),
ccr_json = COALESCE(@ccrJson, sessions.ccr_json),实测一轮里通常只有 stats_json 与 tail_json 真的会变。这一步能把单轮写入从 13 MB 降到 ≈3.5 MB,零语义变更。
2)中等改动:把账本拆成子表,按条目 upsert。
cacheLedger / foldAnchors / foldPositions / foldAnchorOrder 本质都是 key → value 账本,挪进独立表(如 session_fold_anchors(session_id, key, value)),只 upsert 变化的行 —— 与 #5755 对 refs 的做法完全同构。单轮写入降到 O(变化条目)。
3)彻底:账本改 append-only + 水位压缩。
账本只在折叠时增长,天然适合 append-only 日志 + 定期压实,顺带物删已失效锚点。
附:可在本地验证的脚本
import sqlite3
db = sqlite3.connect(r'C:\Users\<user>\.local\share\billion-context\sessions\index.db')
for row in db.execute("""
select session_id, length(metadata_json), length(ccr_json), length(kstate_json), length(tail_json)
from sessions order by length(metadata_json) desc limit 3
"""):
print(row)再解析 metadata_json、按 value 长度排序,就能看到 cacheLedger / foldAnchors 占了绝大部分。
本条不是「长会话慢」的重复报告,而是 #5755 之后剩下的一层:三条子腿修好了,但每轮还要把一个 13 MB 的账本快照整体搬一次。修完的直接收益是 slow-ingest 从 ≈720 ms 降到几十 ms。
Activity
[-]性能问题:保存不到 2 KB 的配置快照和几条新消息,每轮重写 13 MB[/-][+]Performance issue: saving a sub-2 KB config snapshot and a few new messages, yet rewriting 13 MB every round. | 性能问题:保存不到 2 KB 的配置快照和几条新消息,每轮重写 13 MB[/+]ranxianglei commentedon Nov 12, 2026
(已收)本单已归入根因聚合 issue(token 见聚合单 body),机器人已停止在本单上的工作,修复走聚合 issue 统一出 PR;本单保留不关,修复验证后统一关闭。(聚合单:[Root Cause] performance-memory (7 items),GitHub #6449)
Merge origin/master: resolve ranxianglei#6317/ranxianglei#6323 confli…
fix: clear last-written column map on restore/delete to complete #6325 …