Skip to content

[FEATURE] 优化 pickle 解析与 DB 查询的性能瓶颈 #72

Closed
4 of 4 issues completed
Closed

Description

@codeasier

功能描述

通过对 import(pickle 解析)和 query(DB 查询)两条核心路径的代码审查,发现多处性能瓶颈。大快照(几十万 trace 事件)场景下,import 耗时与内存占用会显著上升,query 在无索引的表上几乎全表扫描。本 issue 汇总瓶颈点并提出优化建议。

使用场景

  • 分析大型 PyTorch 训练任务产生的内存快照(事件数 ≥ 10w,pickle 文件 ≥ 1GB)
  • 在 MCP server 长驻进程中反复执行查询模板
  • CI 中批量导入多个快照

当前实现下,上述场景均会因以下瓶颈而显著变慢。

期望的实现方式

一、Pickle 解析路径(import 命令)

1. segment.blocks 列表插入/删除退化为 O(N²)【严重】

snapshot_mutator.attach_block 使用 segment.blocks.insert(insert_idx, block),detach_block 使用 segment.blocks.remove(block)。整个 import 是对每个 trace 事件倒序回放,N 个事件 → 最坏 O(N²)。

建议:用 sortedcontainers.SortedList 按 address 维护 blocks,把插入/删除降到 O(log N)。

涉及代码:

  • src/pt_snap_cli/vendor/memsnapdump/simulate/snapshot_mutator.py attach_block / detach_block
  • src/pt_snap_cli/vendor/memsnapdump/simulate/snapshot_lookup.py find_block / find_gap_for_alloc_block(二分搜索可保留,但底层数据结构需配套替换)

2. _insert_segment_sorted 每次重建 keys【中】

snapshot_mutator._insert_segment_sorted 每次插入都重新构建 keys = [(seg.address, seg.stream) for seg in segments],再 bisect + 列表 insert,整体 O(N²)。

建议:维护一个独立的 sorted key 列表,避免每次重建;或同样改用 SortedList。

涉及代码:src/pt_snap_cli/vendor/memsnapdump/simulate/snapshot_mutator.py:_insert_segment_sorted

3. alloc_or_map_segment 线性扫描找相邻 segment【中】

SimulatedCachingAllocator.alloc_or_map_segment 用 for i, seg in enumerate(segments) 线性扫描找左右相邻 segment,而同文件其他查找已用二分。行为不一致且复杂度 O(N)。

建议:用二分定位起始位置后向两侧扩展扫描。

涉及代码:src/pt_snap_cli/vendor/memsnapdump/simulate/simulated_caching_allocator.py:alloc_or_map_segment

4. SQLite 写入未调优 PRAGMA【中】

SqliteDB.__init__ 中 sqlite3.connect(self.path) 未设置 journal_mode / synchronous / cache_size。默认 synchronous=FULL 每次 commit 都 fsync,对 SnapshotDbHandler 每 1000 条 commit 一次的写入模式影响巨大(典型 5-10× 差距)。

建议:import 写入路径开启

conn.execute("PRAGMA journal_mode = MEMORY")
conn.execute("PRAGMA synchronous = OFF")
conn.execute("PRAGMA cache_size = -65536")  # 64MB

涉及代码:src/pt_snap_cli/vendor/memsnapdump/util/sqlite_meta.py:SqliteDB.__init__

5. Pickle 整体加载,无流式处理【中】

file_util.load_pickle_to_dict 直接 pickle.load(f),整个 dict 一次性进内存。大快照(1-10GB)内存峰值极高。

建议:评估是否能基于 pickletools 或自定义 Unpickler 流式产出 device_traces;短期可先在文档中说明内存需求。

涉及代码:src/pt_snap_cli/vendor/memsnapdump/util/file_util.py:load_pickle_to_dict

二、DB 查询路径(query 命令)

6. 完全没有创建索引【严重】

SnapshotDb.create_block_table / create_trace_entry_table 只创建了表,SqliteTable.create_index 方法存在但从未被调用。而查询模板大量使用以下列做 WHERE / ORDER BY / 聚合:

模板 使用列
leak_detection size, allocEventId, freeEventId
active_blocks_at_event allocEventId, freeEventId, size
memory_peak allocated, active, reserved 上的 MAX()
allocator_gap 同上

对几十万行的表,全部退化为全表扫描。

建议:在 create_block_table / create_trace_entry_table 后追加:

table = self.get_block_table(device)
for col in ("allocEventId", "freeEventId", "size"):
    table.create_index(self.conn, col)
table = self.get_trace_entry_table(device)
for col in ("allocated", "active", "reserved"):
    table.create_index(self.conn, col)

涉及代码:src/pt_snap_cli/vendor/memsnapdump/tools/adaptors/database/snapshot_db.py

7. max_rows 在 Python 层切片而非 SQL LIMIT【中】

QueryService.execute_query 先 executor.execute_template 拉全部行(cursor.fetchall() + 构造 dict 列表),再用 rows[:max_rows] 切。对大结果集是双倍内存 + 全量扫描。

建议:把 max_rows 通过模板变量注入 SQL 末尾的 LIMIT,下推到 SQLite。注意 active_blocks_at_event 已自带 LIMIT,但 leak_detection / block / event / allocation 均未带。

涉及代码:

  • src/pt_snap_cli/core/query_service.py:execute_query
  • src/pt_snap_cli/query/executor.py:execute(fetchall())

8. memory_peak 模板嵌套子查询【中】

memory_peak.yaml 有 6 个嵌套子查询,每个子查询全表扫描一次,外层再扫一次,总计约 12N 次行扫描(无索引时)。

建议:用 CTE 把峰值计算收敛到一次扫描:

WITH peaks AS (
  SELECT MAX(allocated) AS pa, MAX(active) AS pac, MAX(reserved) AS pr
  FROM {{ device_trace_table }}
  {% if start_id is not none %}WHERE id >= {{ start_id|int }}{% endif %}
)
SELECT pa,
  (SELECT MIN(id) FROM {{ device_trace_table }} WHERE allocated = pa) AS peak_allocated_event_id,
  pac,
  (SELECT MIN(id) FROM {{ device_trace_table }} WHERE active = pac) AS peak_active_event_id,
  pr,
  (SELECT MIN(id) FROM {{ device_trace_table }} WHERE reserved = pr) AS peak_reserved_event_id
FROM peaks

涉及代码:src/pt_snap_cli/query/templates/statistical/memory_peak.yaml

9. Jinja 模板无编译缓存【低】

QueryExecutor.render 每次 self._env.from_string(template.query) 重新解析模板字符串。CLI 单次调用影响小,MCP 反复调用有累积开销。

建议:按 template name 缓存编译后的 Template 对象。

涉及代码:src/pt_snap_cli/query/executor.py:render

10. MCP 场景下连接未复用【低】

QueryService.execute_query 每次新建 Context → 新建 sqlite 连接 → 关闭,并重复做 schema 校验和 device discovery。MCP server 长驻时反复 open/close。

建议:在 SnapshotAnalyzer 或 QueryService 中按 db_path 缓存 Context。

涉及代码:src/pt_snap_cli/core/query_service.py:execute_query / src/pt_snap_cli/context.py:Context

影响总结

路径 瓶颈点 严重程度 复杂度退化
Import attach_block/detach_block 列表插入删除 严重 O(N²)
Import _insert_segment_sorted 重建 keys 中 O(N²)
Import alloc_or_map_segment 线性扫描 中 O(N²)
Import SQLite 写入未调优 PRAGMA 中 5-10× 慢
Import Pickle 整体加载 中 内存 O(文件大小)
Query 完全无索引 严重 全表扫描
Query max_rows Python 层切片 中 多余内存/IO
Query memory_peak 嵌套子查询 中 12N 次扫描
Query Jinja 模板无缓存 低 单次影响小
Query 连接未复用 低 仅 MCP 累积

验收标准

  • SnapshotDb 在建表后自动创建常用列的索引
  • import 路径下 segment.blocks 的插入/删除复杂度降到 O(log N)
  • import 路径下 SQLite 写入开启 journal_mode=MEMORY + synchronous=OFF
  • QueryService.execute_query 的 max_rows 通过 SQL LIMIT 下推
  • memory_peak 模板用 CTE 重写,扫描次数从 12N 降到常数次
  • 新增基准测试(如 tests/perf/),对比优化前后在大快照上的耗时与内存
  • 现有测试全部通过,特别是 tests/test_contract_cli_mcp.py 的 CLI/MCP 语义契约

参考资源

Activity

  1. codeasier commented on Jul 27, 2026

    @codeasier
    OwnerAuthor

    子任务拆分

    已将本 issue 拆分为 4 个独立可交付的子任务,按「严重程度 + 修复路径独立性」分组:

    子任务 标题 严重程度 覆盖瓶颈
    #73 [为 SnapshotDB 表创建常用查询列的索引] 严重 #6
    #74 [优化 import 路径数据结构,消除 segment/blocks 操作的 O(N²) 退化] 严重 #1 #2 #3 数据结构 O(N²)
    #75 [调优 SQLite 写入 PRAGMA 并评估 Pickle 流式加载] 中 #4 #5 I/O 调优
    #76 [查询执行层优化:max_rows 下推、memory_peak SQL 重写、模板缓存与连接复用] 中/低 #7 #8 #9 #10 查询层

    依赖关系

    建议交付顺序

    1. [FEATURE] 为 SnapshotDB 表创建常用查询列的索引(子任务 #72-1) #73(索引)— 改动小、ROI 最高、风险最低
    2. [FEATURE] 调优 SQLite 写入 PRAGMA 并评估 Pickle 流式加载(子任务 #72-3) #75(I/O 调优)— 配置层面改动,独立性好
    3. [FEATURE] 优化 import 路径数据结构,消除 segment/blocks 操作的 O(N²) 退化(子任务 #72-2) #74(数据结构)— 改动较大,需配套测试
    4. [FEATURE] 查询执行层优化:max_rows 下推、memory_peak SQL 重写、模板缓存与连接复用(子任务 #72-4) #76(查询层)— 依赖 [FEATURE] 为 SnapshotDB 表创建常用查询列的索引(子任务 #72-1) #73 的索引效果最佳

    子任务全部完成后,本 issue 可关闭。

  2. codeasier commented on Aug 6, 2026

    @codeasier
    OwnerAuthor

    补充实测结论:高事件数 + 深调用栈场景

    在 #73/#74/#75/#77/#80 相关优化合入后,进一步拆分 import 阶段发现:当前瓶颈不能只看 pickle.load。PR #82 已显著降低 allocator replay 的数据结构查找成本,但没有改变 TraceEntry/Frame 对象重建和调用栈字符串化路径。

    测试环境

    • OS:Linux Mint 22.3(基于 Ubuntu 24.04 / Noble),内核 6.14.0-37-generic
    • CPU:Intel i7-12700(12 核 / 20 逻辑线程)
    • RAM:31 GiB,测试期间可用约 21–23 GiB
    • 磁盘:NVMe
    • Python:3.12.13,conda 环境 pt-snap
    • SQLite:3.53.2
    • post-perf: optimize snapshot replay lookups #82 代码:dafaf4f
    • 样本:131k(131,283 事件)与 628k(628,839 事件)脱敏 LFS 快照

    post-#82 顶层分段计时

    样本 总耗时 pickle 加载 对象重建 allocator replay 其他
    131k 9.088s 0.130s 5.559s 3.088s 0.442s
    628k 41.745s 0.555s 23.830s 16.583s 1.332s

    对象重建阶段会为每个事件的每个 frame 创建 Frame 对象。计数结果约为:

    • 131k:1,062 万次 Frame.from_dict,平均 80.9 frame/事件。
    • 628k:4,248 万次 Frame.from_dict,平均 67.5 frame/事件。

    event2record() 随后还会通过 TraceEntry.get_callstack() 再次遍历每个事件的 frame 列表并生成字符串。对于百万事件、平均 100 frame 的负载,仅该类 frame 访问规模就可能达到约 1 亿次,且会产生大量短生命周期对象和字符串。

    结论

    • 裸 pickle 反序列化不是当前主要瓶颈:628k pickle load 仅约 0.56s。
    • 当前主要风险是 DeviceSnapshot.from_dict 触发的 TraceEntry/Frame 对象重建,以及后续每事件调用栈字符串化。
    • 该路径的成本近似为 O(事件数 × 平均调用栈深度);调用栈越深、事件越多,耗时和 RSS 会快速膨胀。
    • 建议将对象重建、调用栈规范化/字符串化从 allocator replay 中独立统计,并针对延迟构造、frame/callstack interning、调用栈字符串缓存和 _origin 生命周期开展专项优化。

    已创建新的跟踪子 issue:#84。该 issue 包含合成负载矩阵、验收指标和兼容性要求。

    说明:此前 #74 评论中的“纯模拟 replay”阶段实际包含 SimulateDeviceSnapshot 构造,因此也包含对象重建;本评论使用新的顶层分段定义,避免将对象重建耗时误归因于 allocator replay。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions