Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
3 changes: 2 additions & 1 deletion CHANGELOG.md
Original file line number Diff line number Diff line change
Expand Up @@ -16,8 +16,9 @@ Versions follow the merge of a `*_release-v*` branch; CI publishes to npm on tag
- **系统架构文档体系落地(owner 指令 2026-11-08):`docs/architecture/` 成为实时维护的架构枢纽**:新增 `docs/architecture.md` / `docs/architecture.zh-CN.md` 总枢纽(整体架构图中英双版转正 + 8 模块总表),首个样板模块页 `docs/architecture/storage.{md,zh-CN.md}`(统一存储:职责/原理/工作机制/硬不变量,配模块图中英双版)。文件级地图 `reference/architecture.md` 补齐 125 个缺失条目(新存储层 / marker / fastpath / lanes 等全部新模块)并升级为 CI 强制全量覆盖。新增 CI 车道 `architecture-docs`(`tools/check-architecture-docs.mjs`):地图覆盖全 `src/` 文件、总表↔页面成对、图 svg 优先 + png 备选齐备、SVG 基础良构(未转义 `&` 曾让英文图线上破图)。AGENTS.md「Documentation Layout」新增实时维护规则:改结构 ⇒ 同 PR 更新页 + 图 + 总表。其余 7 个模块页(pipeline / lanes / kernel / identity / fastpaths / webui / update)同一 PR 全部补齐——总表 8 行全 ✅(每页 = 中英双版文档 + 中英双版图)。

### Fixed
- **纯 SQLite 姿态下证实损坏不再静默降级 JSON,改为响亮拒启(owner 策略 2026-11-21,#7156 生产事故)**:quick_check 证实 index.db 损坏(含「首个 post-open 写入」撞损坏的大库/缓存判决分支,#7156 FIX4)且进程有效姿态是**纯 SQLite**(有效 mode full + sqlite 后端 + 无加密 + jsonWriter off = 2026-11-13 缺省翻转后的缺省,或显式 off)时,旧契约(响亮告警 + 不挂索引照常启动、JSON 信封服务)在这里会服务一个近乎为空的非持久视图,其后每一轮都只落在非持久副本里——静默丢持久历史,比损坏本身更糟(实测现场:0.1.216 的 3.2GB index.db 损坏后自动「降级 JSON」,面板显示 requests:2/上下文 0,而真实 1563 请求/124k 上下文/$12.41 成本全在索引里)。现在该姿态 REFUSES TO START:文件原样不动(不搬不拷不重建),日志与诊断面只给可操作的手工修复(备份 index.db/-wal/-shm → 手工移开 → 再启动,从双写期信封重建);`BILI_STORAGE_ALLOW_LEGACY_DEGRADE=1` 可有意识地恢复旧降级路径(永不缺省、不被任何配置值隐含)。其余姿态(显式双写 full、shadow、legacy、网络后端、加密)信封仍是真恢复来源,旧契约逐字节保持。姿态判定是纯函数(与 persist 的 jsonWriterOff 同一公式,两开关永不分歧);拒启被记录进诊断面(`/__bili/status` 与 diagnostics 可见「REFUSING TO START (pure-sqlite stance)」前缀)且每次启动都重新生效(latch 只短路进程内重扫)。回归:tests/issue7156-pure-sqlite-refusal.test.ts(姿态真值表 + 两种纯 sqlite 拼法与 file 层的损坏拒启/逃生阀/重复拒启 + 字节不变断言 + 双写姿态保留降级契约)、tests/issue4816-integrity-throw-quarantine.test.ts、tests/acp-status-storage-degraded.test.ts、tests/web-storage-banner.test.ts、tests/storage-durability.test.ts 与 storage 全量套件绿。
- **纯 SQLite 姿态下证实损坏不再静默降级 JSON,改为响亮拒启(owner 策略 2026-11-21,#7156 生产事故)**:quick_check 证实 index.db 损坏(含「首个 post-open 写入」撞损坏的大库/缓存判决分支,#7156 FIX4)且进程有效姿态是**纯 SQLite**(有效 mode full + sqlite 后端 + 无加密 + jsonWriter off = 2026-11-13 缺省翻转后的缺省,或显式 off)时,旧契约(响亮告警 + 不挂索引照常启动、JSON 信封服务)在这里会服务一个近乎为空的非持久视图,其后每一轮都只落在非持久副本里——静默丢持久历史,比损坏本身更糟(实测现场:0.1.216 的 3.2GB index.db 损坏后自动「降级 JSON」,面板显示 requests:2/上下文 0,而真实 1563 请求/124k 上下文/$12.41 成本全在索引里)。现在该姿态 REFUSES TO START(quick_check 同步判决的损坏路径不变;大库异步判决路径见下条 open 零写:pre-verdict 损坏 boot 成功,损坏在首次 ingest 写大声失败+完整性 latch 落定,该姿态仍永不写 JSON、无静默降级面):文件原样不动(不搬不拷不重建),日志与诊断面只给可操作的手工修复(备份 index.db/-wal/-shm → 手工移开 → 再启动,从双写期信封重建);`BILI_STORAGE_ALLOW_LEGACY_DEGRADE=1` 可有意识地恢复旧降级路径(永不缺省、不被任何配置值隐含)。其余姿态(显式双写 full、shadow、legacy、网络后端、加密)信封仍是真恢复来源,旧契约逐字节保持。姿态判定是纯函数(与 persist 的 jsonWriterOff 同一公式,两开关永不分歧);拒启被记录进诊断面(`/__bili/status` 与 diagnostics 可见「REFUSING TO START (pure-sqlite stance)」前缀)且每次启动都重新生效(latch 只短路进程内重扫)。回归:tests/issue7156-pure-sqlite-refusal.test.ts(姿态真值表 + 两种纯 sqlite 拼法与 file 层的损坏拒启/逃生阀/重复拒启 + 字节不变断言 + 双写姿态保留降级契约)、tests/issue4816-integrity-throw-quarantine.test.ts、tests/acp-status-storage-degraded.test.ts、tests/web-storage-banner.test.ts、tests/storage-durability.test.ts 与 storage 全量套件绿。
- **信封导入不再顶掉 index 已有的压缩块谱系与生命周期统计(#7156 事故第二现场,2026-11-21)**:#7156 的生产现场里,降级窗口(不挂索引、纯信封服务)内的一次会话保存把信封里的 32 个粗块结构写进了 `importRecord`——它把信封当成权威谱系:按 incoming 集合先删后插,index 里 103 个更细的压缩块(及其 summary/content 引用链)被整批删除,生命周期统计也从 requests:1563/124k 上下文/$12.41 成本回退成 requests:2/0。之后每一轮 preflight 都在 32 粗块的地基上折叠,上下文装不进模型窗口、会话不可用。现在 `ingestSession` 新增 `envelopeImport` 标记(仅 `UnifiedShadow.importRecord`/`importRecordAsync` 两个导入入口传):存储侧已有块谱系时**只采纳信封里 seq 更高的新消息**,块谱系与 stale 清理一律跳过(index 无块的真正首开导入不变,仍整体采纳信封结构);stats_json 同带单调守卫——envelopeImport 下已存 requests ≥ 传入 requests 时保留已存值(仅导入路径生效,organic 保存仍是权威且零额外开销)。回归:tests/envelope-import-block-lineage.test.ts(细块保留 + stats 只升不降 + 首开导入采纳 + organic 权威语义不变 + importRecord wiring 五用例)、tests/storage-ingest-watermark.test.ts。
- **存储索引 open 不再写库:全表水位线重置改为逐会话惰性 prime(#3285 逐会话化,2026-11-21,#7156 事故面的最后一块)**:#3285 的跨进程信任交接原先在 writer init(UnifiedShadow.maybeOpen)里执行一条 `UPDATE sessions SET last_ingested_seq = NULL`(无 WHERE)——它让 **open 本身变成一次写**,且一次性触碰**每一个**会话。opencode 对照研究(同 SQLite+WAL、多客户端并发多年无损坏)确认了纪律边界:多进程 WAL 库的安全前提是「稳态只排队写、绝不在 open/维护窗口制造协议外写入」,而本机事故(#7156 复现:第二条连接 3 行 UPDATE 即损坏活库)证明 open 期写入正是高危窗口(旧构建双写者+434MiB WAL 风暴叠加时库被写坏,0.1.216 起每次启动还多一个「first post-open write failed」降级面)。信任边界本身其实是**逐会话**的:一个进程只需要不信任「它没设过的、它即将保存的那个会话」的水位线。现在 `resetAllIngestWatermarks()` 删除,改为 `UnifiedStore.primeIngestTrust(sessionId)`:本进程首次触碰某会话时(读水位线之前)只清该会话的外来水位线(→ 下一次保存走精确全量路径、用本进程自己的视图重建信任),同进程后续触碰幂等无写;从未触碰的会话水位线原样保留。对 (进程,会话) 逐一点对,信任判决与旧全表重置**逐字节一致**;行为变化:open 零写(大库 pre-verdict 损坏不再拦 boot——boot 成功、损坏在首次保存的大声失败+后台 quick_check 判决落定后由状态面暴露);#7156 的「first post-open write」分类保留覆盖 open 路径裸写(migration/DDL)。mysql 后端接口同步。回归:tests/per-session-ingest-trust.test.ts(新增:open 不清水位线/prime 单会话+幂等+全量重设信任链)、tests/issue7156-storage-corruption.test.ts FIX4 重写为新语义(corrupt page 下 boot 成功+首次 ingest 大声失败+latch)、tests/storage-mysql-seam.test.ts 接口同步。
- **dsh 运行时注册的 preset 继承压缩完全禁止(#7190,关 #7178 / #7062 / #7169)**:dsh 的 preset 注册表 `AgentPresetRegistry.register(definition)` 是**启动后才出生**的 preset 行唯一的出生点,它把嵌套行直接挂进内存 PresetTree(其 `commit()` 为空实现),从不经过 loader 的 `internal/config` 变换——bili 的 #4147 结构性 disable 重写(`bili-compaction-gate`,#3354/#3662)永远碰不到这些行。于是运行时注册 preset 的压缩引擎是全副武装的(每步压力触发 + 模型切换前置压缩 + 溢出恢复三条触发器都在 dsh 的 surface 计量上点火),而 bili 侧 wire guard 拒绝每一次压缩调用:#7062 的逐步 422 风暴、#7178 的模型切换死局(`MODEL_SWITCH_COMPACTION_FAILED` 永不满足前提)、#7169 的 landed-checkpoint 触发 rebase 抹掉 bili 自己的折叠块再 DIGEST DRIFT 冻结信封,全是这台引擎在开火。修法与 boot-time 行同一判决、同一机制:gate 入口(always-on,bili-native 关着也活着)现在包一层 `agentPresets.register`——定义里的 compaction-basic / command-compact 行在挂入前就地改写为 `disabled: true`。判决按每次注册调用检查(bili-native 没宣告持线 = 定义原样通过,dsh 原生压缩照常);无 compaction 行 / 畸形定义按身份原样通过(注册表自己的校验看到字节级相同的输入);Symbol-for 标记保证重 apply 不双重包裹;宿主没有该注册表 = 无运行时 preset 可注册,静默不包裹。遥测新增 `runtime` / `runtimeWrapped` 维度,#6770 覆盖一行据此报告「register() 已覆盖——尚无运行时注册」或「N 个运行时注册被改写」,wrap 未知时不报假缺口。**非模型可见文本改动**(只动 dsh 侧 web banner 的覆盖一行与日志)。dsh 源码依据(deepseek-ai/deepseek-harness @ 2e39e70,与现场 0.2.2-rc.3 逐点核验一致):`packages/preset/agent-preset-registry/src/index.ts:96`(register 立即激活、重复 id 抛错)、`mount.ts:22-23`(PresetTree 空 commit)、per-fiber `internal/config` waterfall(`vendor/cordis/src/fiber.ts:691-700`)——preset 作用域 fiber 在自己的上下文里解析配置,根上注册的 global hook 不触发。回归:tests/issue7190-dsh-runtime-preset-coverage.test.ts(新增 10 条行驱动正反用例:改写/身份保持/判决关/重包裹/`this` 转发/无注册表降级/get 回退/遥测去重 + 覆盖文案四形态)、tests/issue3354-dsh-compaction-disable.test.ts、tests/issue6770-compaction-coverage-text.test.ts、tests/issue4147-dsh-overlay-structural.test.ts 全绿。
- **⚠️ MODEL-FACING TEXT CHANGE** 压缩成功回执去掉 head/tail 标签(保留摘录)+ 打上时间戳 + kernel 锚点引文标注来源(owner 指令 2026-11-18,会话 01a1e89d 诊断续):成功回执是唯一一类**引用用户话语却在线路上不带任何 `<acp>` 时间戳**的系统行(user 消息都带 `time=`,tool 结果全是裸文本)——弱模型扫尾部找「用户刚说了什么」时只能看到回执里嵌的引文,会把它当成最新用户指令(ti_an 现场:qwen3.8-27b 编出「user's latest message (m02386/m02387) 要求一段 PR 总结」,ref 与内容全是幻觉)。四处文本改动:① 指纹行**去掉 head/tail 标签、保留摘录**(#2544 误读的源头是标签本身——`head "…" … tail "…"` 读起来像「只存了开头和结尾」,触发对刚建块的防御性 decompress;摘录的 #1294 自查价值与 #1615 surrogate 切口守卫原样保留)——`· b1 full summary 10600ch [2026-11-17 10:35:14 – …] · head "…" … tail "…"` → `· b1 full summary 10600ch [2026-11-17 10:35:14 – …] "… … …"`。② 成功回执头追加折叠时刻——`[Compressed m00001–m00192 → 1 block(s), ~51613 tokens saved.]` → 同行尾部 ` folded at 2026-11-18 10:05:12`(提交时墙钟;回执是全新尾消息,不进前缀缓存稳定区,无缓存后果)。③ #2544 指引句去掉与摘录绑定的前半句——`Fingerprints show head/tail only — every summary is stored in full. …decompress only if the excerpt doesn't answer it.` → `Every summary is stored in full — to retrieve a specific detail from a new block, call search_context({ query }) first; decompress only if that doesn't answer it.`(search_context 优先的检索路由保留)。④(kernel 0.0.198 → 0.0.199)保护带排除警告里的 Last-user anchor 引文标注来源——`Last-user anchor: m00003 "…"` → `Last-user anchor (historical quote, NOT a new user message): m00003 "…"`。回执行号结构不变(folded at 与原行内的标签移除都不改变行数);log 侧(#1718)本来就是 length-only,仅注释同步。回归:tests/compress-fingerprint-refold.test.ts(断言改无标签形状,#1615 四个 surrogate 切口/清洗用例保留并钉新格式)、tests/issue4313-fingerprint.test.ts、tests/issue4313-message-timestamp-toggle.test.ts、tests/text-safe.test.ts、tests/issue5173-last-user-anchor.test.ts、tests/issue6021-image-offload-anchor.test.ts、kernel/tests/issue5109-anchor-skip-injections.test.ts。
- **⚠️ MODEL-FACING TEXT CHANGE** 压缩失败回执里的 ref 快照行标记为「时点快照」:会话 01a1e89d 现场(2026-11-17,qwen3.8-27b)——旧文案 `[Current context: N visible message(s), refs m00001–mXXXX, …]` 回答的是「回执发出那一刻」的 ref 前沿,但读起来像当前状态;失败回执会持久进模型可见历史,长会话累积多份 max 不同的旧副本后,弱模型把它和自己的历史 compress header 对不上(「summaries claimed m02129–m02325, but the highest ref is m02255 — something's off」),把时间差误读成数据损坏,随后 23:23–23:29 连发 7 次指向不存在终点(m02383/m02489/m02384,全部高于真实前沿)的压缩调用(内核原子守卫每次正确拦截,零脏状态)。现在该行为 `[Context snapshot at the moment of THIS receipt — point-in-time only: refs are minted continuously, so every earlier copy of this line in the transcript is stale, and the newest copy is the current frontier. …]`:每份副本自证是快照、旧副本明示过期、最新一份才是前沿。数字(条数/lo/hi/块数)与来源零变化,不引入新锚点;仅压缩失败回执(loop-guard 武装时原本就不带此行)受影响。回归:tests/issue1029-acp-marker-stale-refs.test.ts ③ 钉新精确文案。
Expand Down
8 changes: 5 additions & 3 deletions src/storage/backend.ts
Original file line number Diff line number Diff line change
Expand Up @@ -96,7 +96,9 @@ export interface StorageBackend {
ingestWatermark(sessionId: string): Promise<{ seq: number; tailSeqs: number[] } | null>;
tailSeqs(sessionId: string): Promise<number[] | null>;
clearIngestWatermark(sessionId: string): Promise<void>;
resetAllIngestWatermarks(): Promise<void>;
/** #3285 (2026-11-21 per-session rework): first-touch trust prime — drop
* any FOREIGN-set watermark for one session; idempotent per process. */
primeIngestTrust(sessionId: string): Promise<void>;
probeIngestBoundary(sessionId: string, seq: number): Promise<{ msgId: string; contentHash: string; maxSeq: number } | null>;

// --- reap journal (#3841) ----------------------------------------------
Expand Down Expand Up @@ -241,8 +243,8 @@ export class SqliteBackend implements StorageBackend {
clearIngestWatermark(sessionId: string): Promise<void> {
return Promise.resolve(this.store.clearIngestWatermark(sessionId));
}
resetAllIngestWatermarks(): Promise<void> {
return Promise.resolve(this.store.resetAllIngestWatermarks());
primeIngestTrust(sessionId: string): Promise<void> {
return Promise.resolve(this.store.primeIngestTrust(sessionId));
}
probeIngestBoundary(sessionId: string, seq: number): Promise<{ msgId: string; contentHash: string; maxSeq: number } | null> {
return Promise.resolve(this.store.probeIngestBoundary(sessionId, seq));
Expand Down
10 changes: 8 additions & 2 deletions src/storage/mysql.ts
Original file line number Diff line number Diff line change
Expand Up @@ -1262,8 +1262,14 @@ export class MysqlBackend implements StorageBackend {
await this.pool.query("UPDATE sessions SET last_ingested_seq = NULL WHERE session_id = ?", [sessionId]);
}

async resetAllIngestWatermarks(): Promise<void> {
await this.pool.query("UPDATE sessions SET last_ingested_seq = NULL");
// #3285 (2026-11-21 per-session rework): the open-time GLOBAL watermark
// reset is gone (it made open a write and touched every session); trust
// is primed per session on first touch instead.
private readonly ingestTouchedThisProcess = new Set<string>();
async primeIngestTrust(sessionId: string): Promise<void> {
if (this.ingestTouchedThisProcess.has(sessionId)) return;
this.ingestTouchedThisProcess.add(sessionId);
await this.pool.query("UPDATE sessions SET last_ingested_seq = NULL WHERE session_id = ?", [sessionId]);
}

async reapBlocks(
Expand Down
Loading
Loading