Skip to content

[FEATURE] 输出当前 msinsight 可直接复用的兼容分片产物 #202

Closed

Description

@codeasier

父 roadmap:#197
实施阶段:P2
依赖:#198、#199、#201

范围:固定基础表与内联堆栈、目录和 salted hash,让 GUI 导入原始 pickle 时复用 pt-snap 产物。

功能描述

提供显式 msinsight 兼容输出模式,使 pt-snap 生成的分片可被当前 msinsight 通过原始 pickle 导入入口复用。

使用场景

用户先使用 pt-snap 解析 snapshot,随后在 msinsight 打开同一 pickle,需要直接显示已有分片的事件、曲线、block 与跨片详情,避免无意义重复解析。

期望的实现方式

  • 输出 msinsight 所需真实 trace_entry_<device>、block_<device> 和 dictionary 表,准确匹配列顺序与枚举;事件表内联格式化 callstack。
  • 保留 pt-snap 原生 callstack 去重格式;兼容格式的内联复制成本明确记录。只增加 v2 兼容 VIEW 不作为方案。
  • 默认兼容发现路径为 <snapshot>.msinsight/,包含协议 manifest 和 device_<id>/slice_<index:05d>.db。
  • 计算 SHA256(b"mem_snapshot_parser_v2" + 原始pickle字节),填入 cacheHash;保留独立 pt-snap 缓存元数据。
  • 实施前核对 GUI 的其他缓存复用判据(设备集合、文件路径、ready/complete、目标版本等),不能认为 hash 相同即保证兼容。
  • 非零/非连续原始事件 ID 按协议显式处理;不能生成看似兼容却被 GUI 拒绝的 manifest。
  • 原始有序 frame、callstack 去重及增强 metadata 使用扩展表/sidecar,不能改变基础表的列位置和核心语义。
  • 首版对齐 GUI “原始 pickle + 邻接缓存”入口。独立分片目录直接导入 msinsight 属于其入口扩展,不在本仓库冒充已经实现。

验收标准

  • 兼容输出的基础 schema、dictionary、内联堆栈与当前 MemSnapDump 对照一致。
  • manifest 被目标 msinsight 版本识别;sourceFile/cacheHash 与原始文件一致。
  • 真实 msinsight 打开同一 pickle 时复用缓存,提供未重跑 parser 的证据。
  • 事件/曲线、segment/block、片外 alloc/free 详情显示正确,与原版产物对照。
  • 同份输入在 pt-snap 原生/兼容格式中的查询结果一致;扩展不会影响 msinsight 消费。
  • 文档说明目标版本、入口、原始 pickle 依赖及内联 callstack 的存储成本。

参考资源

  • pt-snap-cli 本地基线 09244150ef2a3485aca3d7d23b0f0af0a07f2cb9;msinsight 101f65b877a267ffd5f66ea3834706057ba243e5。这些是方案分析基线,实施前应重新核对目标版本。
  • https://gitcode.com/Ascend/msinsight:`MemSnapshotParser.cpp`(hash salt / cache reuse)、MemSnapshotSliceService.cpp(目录 / manifest)、MemSnapshotDatabase.cpp(按列读取)。
  • pt-snap snapshot/tools/adaptors/database/、snapshot/tools/adaptors/snapshot2db.py。

Activity

  1. codeasier commented on Oct 4, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: 需求真实,属于新增互操作能力:当前 split 只输出 pickle/JSON,原生 DB 第九列为整数 callstackId,而指定 GUI 基线按位置读取 callstack 文本,现有产物不能直接等同于兼容缓存。

    Reasonableness: 显式兼容模式及保留原生去重合理,但 hash 相同不够;仍须通过 manifest、ready/complete、路径、设备表及 allocation cache 检查,派生缓存重建也不等于重跑 parser。

    Boundary: 首版限锁定版本的“同一原始 pickle+邻接缓存”,保持 no-replace。明确 GUI 从零连续范围下非零/稀疏 ID 的拒绝或映射策略;扩展表须隔离命名,metadata 匹配物理布局,否则内联文本与同名 callstack 表/v2 标记会触发 pt-snap 布局冲突。独立目录入口不在本仓库承诺范围。

    Evidence:

    Limitations: 完整 issue/全部 0 条评论已读;只做源码对照和纯内存 SQLite 断言,未跑 pytest/真实 GUI。尚未证明 parser 跳过、跨片详情正确或复制成本,需目标版本日志与原版产物对照。

  2. codeasier commented on Oct 5, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: GUI 验收:待验收。 本轮尚未运行真实 msinsight GUI,不能证明打开同一 pickle 已复用邻接分片、未重跑 parser,或跨片详情显示正确。

    Reasonableness: 先完成实现与自动化合同/差分检查,再独立进行 GUI 验收合理;这是验收分阶段,不是取消原有验收标准。

    Boundary: 按本任务用户确认的安排,暂不做 GUI 验收,实现与自动化验证继续。目标版本/提交、启动步骤、产物校验和、缓存复用及未重跑 parser 日志,以及曲线/block/跨片详情对照证据需后补;GUI 相关验收项保持未勾选。

    Evidence:

    Limitations: 本说明仅记录 GUI 待验收状态,不宣称代码实现已完成或 GUI 已通过;不关闭 issue,不修改验收清单。

  3. codeasier commented on Oct 8, 2026

    @codeasier
    OwnerAuthor

    代码已由 #216 合入 origin/main(9 commits 链,tip 7c33464)。按维护决定先关闭本 issue;PR #216 中声明 deferred 的 GUI / C++ server / 安装 wheel 人工验收,以及 #217 系列默认规模不可用问题,另行跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions