Skip to content

[FEATURE] 回补 msinsight MemSnapDump 后续修复到 snapshot import 运行时 #96

Closed

Description

@codeasier

功能描述

pt-snap import 的 snapshot 运行时最初从独立 MemSnapDump 收编而来,但 msinsight 内置 scripts/MemSnapDump 之后又修了几处 import 正确性/安全问题,当前 pt-snap-cli 没有带回,或只保留了削弱版。

本次审计对照:

  • pt-snap-cli:main @ 5d13620(0.1.1.post1.dev5)
  • msinsight:upstream/master @ 3dffbf31a 的 scripts/MemSnapDump/

需要回补的项(具体子 issue 见下):

类别 问题 msinsight 来源 当前 pt-snap 状态
正确性 OOM 事件缺 addr 导致加载失败 issue #214 / 1fafe798e TraceEntry.from_dict 仍强制读 addr
正确性 torch-npu workspace_snapshot dump 时刻状态未校正 issue #183 / ffb1e8187 仅设 workspace_flag,删除了 _adapt_workspace_snapshot()
安全 pickle 反序列化可执行任意代码 issue #146 / cd4e46345 仍 pickle.load(),文档明确「trusted pickle / not a sandbox」

使用场景

用户用 pt-snap import 解析真实 PyTorch / torch-npu 内存快照时,会遇到:

  1. 含 OOM 记录的 snapshot 整文件导入失败;
  2. 昇腾 workspace 池在 dump 时刻的 allocated/active 显示为 0,曲线和 block 生命周期失真;
  3. 不可信 pickle 在 import/split 路径上仍是任意代码执行面。

这些修复需要回到 first-party pt_snap_cli.snapshot 运行时,而不是只改 CLI/focus/metadata。

期望的实现方式

按子 issue 独立合入,不要整目录覆盖 msinsight 树:pt-snap 已有 lookup/mutator 重构、索引和原子落库,必须保留。每项回补后更新 snapshot/PROVENANCE.md。

验收标准

  • OOM snapshot 可加载并跳过 oom 事件回放(子 issue)
  • workspace 三元组在加载时校正 dump 时刻 segment 状态,而不只是 replay 容错(子 issue)
  • pickle 加载拒绝非 builtins 类型;文档/治理测试与新边界一致(子 issue)
  • 现有 empty-cache / expandable / multi-device golden 不回归
  • PROVENANCE.md 追加本次回补记录

补充信息

对照时确认 不必 从 msinsight 回补的内容:

  • dump2db.py argparse / 进度日志契约(C++ 子进程专用)
  • C++ META_DATA.SNAPSHOT_CACHE_HASH 缓存
  • Mulan 许可证头与 mem_snap_dump 打包布局

allocator 的 stream-aware 查找、ignore_inactive_blocks 等 #183 重构主体已经在 pt-snap 中。

子 issue:

Activity

  1. codeasier commented on Aug 19, 2026

    @codeasier
    OwnerAuthor

    子任务均已合入 main,本跟踪 issue 可以关闭。

    PROVENANCE.md 已记录上述回补;相关 PR CI 通过。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions