Skip to content

兼容产物成员完整性:排除 Insight 派生表,区分「补表」与「基础数据变更」 #266

Open

Description

@codeasier

背景

与 Ascend/msinsight 互操作时,源文件加盐 hash 已对齐:

SHA256(b"mem_snapshot_parser_v2" + 原始 pickle 完整内容)

Insight 先算 hash,再通过 --cache_hash 写入 manifest.json.cacheHash。该参数只影响缓存身份,不改变 DB 内事件 / block ID / 生命周期。cacheHash 缺失、为空或不一致时,Insight 一律重新解析(并先删 log 与 manifest.json)。

真正需要处理的是:兼容导出产物的成员完整性策略。

现状

pt-snap-cli 兼容导出(--format msinsight)在扩展字段里为每个 slice DB 记录整文件 hash(hash_file),复用检查时若不一致则抛:

Compatible member hash changed

见 msinsight_export.py 成员校验路径(extension["members"] vs hash_file(member))。

问题

Insight 在复用已有分片 DB 时,会按 device 补建派生缓存表 memory_allocation_cache_v1_<deviceId>,并直接写回原 slice DB 文件(见 MemSnapshotParser 复用路径)。基础表(events / blocks 等)与 manifest 不会被改,但:

  1. 新增派生表会改变文件字节;
  2. 即便只加表,SQLite 写事务也会改动文件头(change counter 等),整文件 hash 必然变化。

因此:产物经 Insight 打开后,pt-snap-cli 再做导入缓存复用检查,容易误报 Compatible member hash changed。这表示「产物完整性证明失效」,不等于基础数据不兼容,也不等于只读查询不可用。

约定上目前只有表名前缀 memory_allocation_cache_v1_(_v1_ 带版本)可依赖;没有官方派生表清单或 DB 内版本号。

范围提醒(相关但非本 issue 实现目标)

  • 只有 --format msinsight、放在源文件旁 *.msinsight 目录的产物才是 Insight 兼容产物;默认单库与 pt-snap-native-v2 不算。
  • 若 Insight 将来修改 salt,兼容导出的 salt 需同步;那是另一条跟踪项。

建议方案

  1. 成员完整性改为基础表内容级 hash(或整文件 hash 时排除 memory_allocation_cache_* 表),以区分:
    • Insight 仅补建了派生表;
    • 基础数据(events / blocks / 生命周期等)被改。
  2. 错误信息拆分:
    • 仅派生表 / 文件头变化 → 明确提示「产物被 Insight 修改过,完整性证明失效」,必要时仍允许只读查询降级复用;
    • 基础表内容变化 → 保持硬失败,拒绝默认识别为兼容缓存。
  3. 文档写明:经 Insight 使用后的兼容目录,整文件成员 hash 不可再作为默认强证明。

验收建议

  • 用 --format msinsight 导出 → Insight 打开一次(触发 memory_allocation_cache_v1_*)→ pt-snap-cli 再跑缓存复用检查:不应再仅因派生表误报为「基础数据被改」。
  • 故意改动基础表行后,检查仍应失败。
  • 回归:未经过 Insight 的新鲜兼容产物,行为与现网一致。

参考

  • msinsight bot 对 upstream dfe0ee141 的核对:复用路径补建 memory_allocation_cache_v1_<deviceId>,写回原 slice DB;建议排除该前缀或改内容级 hash(非正式契约)。
  • 相关:Ascend/msinsight#625 / PR#1270(跨片 free_requested,已合入;与本 issue 独立)。

Activity

  1. codeasier commented on Oct 15, 2026

    @codeasier
    OwnerAuthor

    已核对 main f940ff760e5a7c02731ba95caefba492c16a4f6d:问题成立。当前 inspect_owned_cache() 以分片整文件 hash 证明 owned cache,Insight 仅补建派生表也会令该证明失效;10/11 已提交的互操作验收记录也已记录这个现象。这与基础事件/生命周期损坏、普通只读查询失效是不同判断。

    拟以独立修复 PR 收口:

    • 为新导出产物保存版本化的基础内容证明,覆盖原有语义表的 schema、类型保真且确定性的行摘要,以及 metadata/引用等扩展;整文件 hash 保留快速路径。
    • 文件字节变化时,仅在基础内容证明完整匹配、且新增对象严格属于已确认的 memory_allocation_cache_v1_<对应 deviceId> 时允许复用;未知派生版本/表、基础内容变化仍硬失败。
    • 老产物只有旧整文件 hash 时,不从现状推断历史基础内容未变;缺少事前证明继续保守拒绝。保持 sidecar、路径/ownership、并发变更检查和 --force 不覆盖外部产物的保护。
    • 增加小型隔离回归并更新中英文合同/错误说明;复用既有真实验收结论,不重跑全量 E2E,不修改 test: pinned release E2E for installed HTML and msinsight consumer #264 或发布流程。

    修复将保留 issue 打开并提交 draft PR 供审阅。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions