Skip to content

[FEATURE] 优化高事件数深调用栈场景下的对象重建与调用栈处理 #84

Closed

Description

@codeasier

功能描述

补充 issue #72:在事件数达到几十万至百万级、且单事件调用栈包含数十或上百个 frame 时,当前 import 的主要瓶颈已从 allocator 查找转移到对象重建和调用栈处理。

当前 pickle.load 本身耗时不高,但 DeviceSnapshot.from_dict 会为每个 trace 事件重新构造 TraceEntry 和全部 Frame 对象;随后 event2record 又会为每个事件遍历 frame 列表并生成调用栈字符串。总成本近似为:

O(事件数 × 平均调用栈深度)

对于百万事件、平均 100 个 frame 的快照,仅 frame 访问/构造规模就达到约 1 亿次,并可能产生约 1 亿个 Frame 对象。

使用场景

  • 百万级 trace 事件的 PyTorch/NPU 内存快照导入。
  • 单事件调用栈包含数十至上百个 frame。
  • 调用栈高度重复但事件数量很大的训练任务。
  • CI 或批处理环境中需要控制 import 峰值内存和总耗时。

实测证据

测试机:Linux Mint 22.3(Ubuntu 24.04/Noble),Intel i7-12700(12 核/20 线程),31 GiB RAM,NVMe,Python 3.12.13(conda pt-snap),SQLite 3.53.2。

样本和代码版本:post-#82 commit dafaf4f,使用已脱敏 LFS 样本 snapshot_import_131k_sanitized.pickle 和 snapshot_import_628k_sanitized.pickle。

低扰动顶层分段计时:

样本 总耗时 pickle 加载 对象重建 allocator replay 其他
131k(131,283 事件) 9.088s 0.130s 5.559s 3.088s 0.442s
628k(628,839 事件) 41.745s 0.555s 23.830s 16.583s 1.332s

对象重建阶段的 frame 访问计数:

  • 131k:约 1,062 万次 Frame.from_dict,平均约 80.9 frame/事件。
  • 628k:约 4,248 万次 Frame.from_dict,平均约 67.5 frame/事件。

涉及代码

  • src/pt_snap_cli/snapshot/base/entities.py:TraceEntry.from_dict
  • src/pt_snap_cli/snapshot/base/entities.py:Frame.from_dict
  • src/pt_snap_cli/snapshot/base/entities.py:DeviceSnapshot.from_dict
  • src/pt_snap_cli/snapshot/base/entities.py:TraceEntry.get_callstack
  • src/pt_snap_cli/snapshot/tools/adaptors/database/entity2record.py:event2record
  • src/pt_snap_cli/snapshot/tools/adaptors/snapshot2db.py:DumpEventHooker

期望的分析/实现方向

  • 将 import 阶段拆分为 pickle load、对象重建、调用栈规范化/字符串化、allocator replay、DB 写入并纳入正式 benchmark。
  • 评估延迟构造 Frame 对象,或保留轻量原始 frame 表示,避免非查询场景创建完整对象图。
  • 评估按 frame 内容或调用栈序列做 interning/dedup,复用重复 frame/调用栈。
  • 对 TraceEntry.get_callstack() 结果做缓存,避免 event2record() 对每个事件重复遍历调用栈。
  • 评估 _origin 对原始字典和 frame 字典的长期持有对 RSS 的影响,确保不破坏 to_dict() 语义。
  • 增加百万级事件 × 深调用栈的合成基准,覆盖不同平均深度和调用栈重复率。
  • 保持现有导入正确性、调用栈顺序、数据库结果和 CLI/MCP 合约不变。

验收标准

  • benchmark 输出对象重建耗时、调用栈处理耗时、frame 引用总数、平均/最大调用栈深度和峰值 RSS。
  • 在百万级事件、平均 50/100 frame 的负载下,给出优化前后 wall time、CPU time、RSS 和 DB 大小对比。
  • 对高重复调用栈和低重复调用栈分别测量,证明 dedup/cache 的收益与边界。
  • 现有测试全部通过,并补充调用栈顺序、缺失 frame、空调用栈和 to_dict() 兼容性测试。

Activity

  1. codeasier commented on Aug 6, 2026

    @codeasier
    OwnerAuthor

    确认问题成立,适合作为 #72 的专项性能后续。

    代码路径支持核心判断:

    • DeviceSnapshot.from_dict() 会为每个事件调用 TraceEntry.from_dict(),后者为每个 frame 创建 Frame 对象。
    • replay 前,event2record() 又通过 get_callstack() 反转、格式化并拼接完整调用栈。
    • 因此当前对象重建和调用栈输出都具有 O(事件数 × 平均调用栈深度) 的成本。

    补充说明:issue 中的 pickle load 是直接统计 pickle.load 的独立耗时,不含后续对象重建。正式 benchmark 建议明确“总耗时”的起止点,并清楚标注各阶段是包含关系还是并列关系,避免读者把表中所有列直接相加。

    实现层面,建议按以下顺序评估每项优化,并附上对应的风险与边界:

    1. 先扩展 baseline_import 的阶段计时:把 import 显式拆为 pickle load、对象重建(含 frame 数量)、调用栈格式化、allocator replay、DB 写入,并报告 frame 引用总数、平均/最大调用栈深度、峰值 RSS、DB 大小和 user/sys CPU。当前 import 只记录整进程 wall、user/sys、RSS、DB 和 cProfile top N,不足以判断哪一类优化真正生效。
    2. 延迟构造或直接消费原始/轻量 frame 表示:是潜在最大收益项,但要保持 replay 期间所需的 attribute/get_callstack 接口可用;必须独立测试以验证它真正降低 wall time,而不只是减少 Eager 阶段的常量开销。
    3. Frame 或调用栈 interning / 去重:在百万事件、深调用栈且重复率较高的训练任务上收益更明显;低重复率时哈希成本可能抵消收益,且有界缓存与无界缓存的 RSS 表现差异必须分别测量。深调用栈本身并不保证高重复。
    4. 缓存 TraceEntry.get_callstack() 的返回值:对当前 import 路径收益有限,因为每个事件只被调用一次,随即被 pop;属于 CPU 与峰值内存的权衡,应与预计算字符串分开评估。
    5. 释放 _origin 和顶层 snapshot 字典图:当前 dump() 会在 replay 期间持有顶层 data,仅清空 _origin 不足以显著降低峰值 RSS;且 Frame/Segment 会共享部分事件的 frames,事件弹出后并非所有 Frame 都立即释放。任何收益都必须通过独立进程 peak RSS 实测验收。
    6. 局部遍历改写:用反向迭代替换 self.frames[::-1] 和 list comprehension,可消除两个临时 list;属于低风险小幅收益。

    兼容性必须保持:

    • 精确的调用栈文本和反转顺序,以及空调用栈返回 ""。
    • 缺失整个 frames 字段与 frame 字段不完整时的现有不同行为。
    • TraceEntry.to_dict() 不包含 ID 时返回原始 mapping;包含 ID 时浅拷贝并不修改原数据。该语义是 split 产物 replay 正确性的依据。
    • split 可重新加载和 replay,SnapshotDB 现有 callstack TEXT schema、查询结果与导入缓存语义不变。
    • Frame/Block/Segment 的现有 mutation 契约与 frame.filename/line/name 字段名、字段类型。

    建议在性能测试中覆盖:百万事件、平均 50/100/200 frame 的负载,高/低调用栈重复率,多设备场景,以及显式 ID 下的 split replay 等价性。

    由于本地 checkout 中两个大型 LFS 样本只有 pointer,暂时无法独立复现实测数字,但代码结构和现有数据足以确认该性能问题值得继续跟踪。Schema 规范化、pickle 流式加载、allocator 查找优化和 query 层优化建议继续保持独立 issue。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions