Skip to content

[Drive-by] Block summary/one CAS content parse is not isolated — a corrupt block content row still aborts the whole session load | 块摘要/one 的 CAS 内容解析未隔离——坏块内容行仍会炸掉整个会话加载 #7337

Description

@ranxianglei

🤖 Powered by ework · qwen3.8-27b

来源: #7335(PR #7336)分析存储坏行隔离时发现

症状

appendBlockContents(src/storage/ingest.ts:615)对块摘要/one 的 CAS 内容做裸 JSON.parse,无 try/catch。它被 addBlocks(src/storage/ingest.ts:701)和 src/storage/shadow.ts:740 以全部行调用。一个坏块内容行(摘要/one 的 CAS 字节解析不了,或 CAS 行缺失导致 summary="" → JSON.parse("") 抛错)会穿透 addBlocks 对 payloadJson 的隔离,炸掉整个会话加载。

与 #7335 的差异

#7335 修的是消息内容(addMessages)和块元数据(addBlocks 的 payloadJson)的解析隔离。本 issue 是块摘要/one 的 CAS 内容(appendBlockContents)的解析隔离——不同的方法、不同的损坏载体(块元数据直接存 payload_json 列;摘要/one 存 CAS 按 hash 解析)。

影响面

建议修复

在 appendBlockContents(或 addBlocks 调用前)隔离 summary/one 的解析:坏行跳过并记录到 skippedCorruptRows,与 #7335 的隔离一致。注意 appendBlockContents 是共享 helper(两个调用方),改动需保证两路径行为一致。

阻塞

无——可以独立修。

查重

无——检索 open+closed 无 appendBlockContents/块 CAS 内容隔离的既有 issue;#7335 只覆盖消息内容+块元数据,本 issue 是块摘要/one CAS 内容,机制不同。


Mirrored from ework issue #7337

Activity

  1. ranxianglei commented on Nov 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复 —— #7335(PR #7336)只覆盖消息内容(addMessages)和块元数据(addBlocks 的 payloadJson)的解析隔离;本 issue 是块摘要/one 的 CAS 内容(appendBlockContents),不同的方法、不同的损坏载体(块元数据直接存 payload_json 列;摘要/one 存 CAS 按 hash 解析)。检索 open+closed 无 appendBlockContents/块 CAS 内容隔离的既有 issue。

    标签: bug + p1 + scope/storage —— 存储层坏行隔离缺陷,触发即会话丢失(与 #7335 同类,故 p1);已同步打到源 issue #7337 和 PR #7338。

    八问

    1. 是什么问题:块摘要/one 的 CAS 内容解析没隔离——一个坏块内容行(摘要/one 的 CAS 字节解析不了,或 CAS 行缺失导致 summary="")会炸掉整个会话冷加载。
    2. 什么原因导致的:appendBlockContents(src/storage/ingest.ts:615)对 summary/one 的 CAS 内容做裸 JSON.parse、无 try/catch。它是共享 helper,被 addBlocks(全量视图)和 readResidentFieldsFor(常驻字段)两条路径以全部行调用,一个坏行就穿透 A single bad data row can blow up the entire session: storage writes don't verify content hashes, and a single row parse | 一条坏数据行可以炸掉整个会话:存储写入不校验内容哈希,加载时单行解析失败就丢弃全部状态 #7335 对 payloadJson 的隔离、炸掉整轮加载。A single bad data row can blow up the entire session: storage writes don't verify content hashes, and a single row parse | 一条坏数据行可以炸掉整个会话:存储写入不校验内容哈希,加载时单行解析失败就丢弃全部状态 #7335 修了消息内容和块元数据的隔离,漏了块摘要/one 的 CAS 内容这个载体。
    3. 影响范围与严重程度:只影响 [PR] fix: refuse unverifiable content digests and isolate unparseable rows in unified storage (#7335) #7336 合入前已存在的坏块内容(一次性存量)——[PR] fix: refuse unverifiable content digests and isolate unparseable rows in unified storage (#7335) #7336 的写入端修复已阻止新毒数据。但若有存量坏块内容,冷加载仍会炸(与 A single bad data row can blow up the entire session: storage writes don't verify content hashes, and a single row parse | 一条坏数据行可以炸掉整个会话:存储写入不校验内容哈希,加载时单行解析失败就丢弃全部状态 #7335 字段事故同机制):整个会话回退 legacy 文件、无文件则丢弃("starting fresh")、大上下文重折。严重度 p1(会话丢失类)。
    4. 怎么修复的:在 appendBlockContents 隔离 summary/one 的解析——逐行 try/catch,坏行跳过并返回;全量视图路径把坏行并入 skippedCorruptRows(经 warnCorruptSkips 记日志),常驻字段路径记 warn 日志。其余会话降级加载,块/引用/消息全部保留,与 A single bad data row can blow up the entire session: storage writes don't verify content hashes, and a single row parse | 一条坏数据行可以炸掉整个会话:存储写入不校验内容哈希,加载时单行解析失败就丢弃全部状态 #7335 的隔离一致。
    5. 是否有回归问题:无。审过的既有行为——(a) 正常块内容加载:不变(成功路径逐字节同原来);(b) A single bad data row can blow up the entire session: storage writes don't verify content hashes, and a single row parse | 一条坏数据行可以炸掉整个会话:存储写入不校验内容哈希,加载时单行解析失败就丢弃全部状态 #7335 的消息/块元数据隔离:不变(只追加 CAS 内容隔离,不动原逻辑);(c) 无 opts 的 getBlockContents(src/storage/store.ts:3242)也裸 parse,但那是 narrowBlockContents 路径的有意 fail-fast(测试 tests/storage-block-content-join.test.ts:127 断言它抛 SyntaxError),不属本 issue 范围、未动;(d) 块元数据/消息/引用加载:不变。
    6. 是否破坏缓存:不涉及——纯读取路径的坏行隔离,不动任何缓存/重试/游标/去重键。
    7. 是否改了设计方向:不涉及——沿用 A single bad data row can blow up the entire session: storage writes don't verify content hashes, and a single row parse | 一条坏数据行可以炸掉整个会话:存储写入不校验内容哈希,加载时单行解析失败就丢弃全部状态 #7335 已确立的"坏行跳过+记录+降级加载"机制,只补上最后一个载体。
    8. 是否引入了新的配置:不涉及——无新 env/config/默认值。

    行为变更(披露)

    交付

    收工判定

    修复完整、测试真回归、无回归、行为变更已披露。PR #7338 待 #7336 合入后 rebase 再合;本 issue 的修复已完成,待 owner 验收。

  2. ranxianglei commented on Nov 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    更新:本 issue 的修复已被 PR #7336 覆盖,我的 PR #7338 作废(superseded)。

    在我完成 #7338 之后,PR #7336 的作者在 review follow-up 里(提交 34da63ddfe8)独立发现了同一个 gap——appendBlockContents 的块摘要/one CAS 内容解析未隔离——并修了,而且多修了一处我漏掉的:BatchedViewVerification.addBlocks(verify-sample 校验器)对 payload_json 和 summary/one CAS 的裸解析(坏块行会在 verify-sample 里抛错、导致后续每次保存都失败,即原事故的 symptom #5)。

    对比:

    处置:

    收工判定:#7337 的修复已被 #7336 覆盖(且更全),本 issue 待 #7336 合入后由 owner 验收关闭;我的 #7338 作废。

  3. ranxianglei commented on Nov 20, 2026

    @ranxianglei
    OwnerAuthor

    (已收)本单已归入根因聚合 issue(token 见聚合单 body),机器人已停止在本单上的工作,修复走聚合 issue 统一出 PR;本单保留不关,修复验证后统一关闭。(聚合单:[Root Cause] storage-poison-row-isolation (2 items),GitHub #7347)

  4. ranxianglei commented on Nov 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收到。本单 #7337 的工作已停止,修复走聚合单 #7347 统一出 PR,本单保留不关、待修复验证后统一关闭。

    补充说明(便于验收时对照):

    不再在本单上工作。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions