Repository navigation
Description
功能描述
通过对 import(pickle 解析)和 query(DB 查询)两条核心路径的代码审查,发现多处性能瓶颈。大快照(几十万 trace 事件)场景下,import 耗时与内存占用会显著上升,query 在无索引的表上几乎全表扫描。本 issue 汇总瓶颈点并提出优化建议。
使用场景
- 分析大型 PyTorch 训练任务产生的内存快照(事件数 ≥ 10w,pickle 文件 ≥ 1GB)
- 在 MCP server 长驻进程中反复执行查询模板
- CI 中批量导入多个快照
当前实现下,上述场景均会因以下瓶颈而显著变慢。
期望的实现方式
一、Pickle 解析路径(import 命令)
1. segment.blocks 列表插入/删除退化为 O(N²)【严重】
snapshot_mutator.attach_block 使用 segment.blocks.insert(insert_idx, block),detach_block 使用 segment.blocks.remove(block)。整个 import 是对每个 trace 事件倒序回放,N 个事件 → 最坏 O(N²)。
建议:用 sortedcontainers.SortedList 按 address 维护 blocks,把插入/删除降到 O(log N)。
涉及代码:
src/pt_snap_cli/vendor/memsnapdump/simulate/snapshot_mutator.pyattach_block/detach_blocksrc/pt_snap_cli/vendor/memsnapdump/simulate/snapshot_lookup.pyfind_block/find_gap_for_alloc_block(二分搜索可保留,但底层数据结构需配套替换)
2. _insert_segment_sorted 每次重建 keys【中】
snapshot_mutator._insert_segment_sorted 每次插入都重新构建 keys = [(seg.address, seg.stream) for seg in segments],再 bisect + 列表 insert,整体 O(N²)。
建议:维护一个独立的 sorted key 列表,避免每次重建;或同样改用 SortedList。
涉及代码:src/pt_snap_cli/vendor/memsnapdump/simulate/snapshot_mutator.py:_insert_segment_sorted
3. alloc_or_map_segment 线性扫描找相邻 segment【中】
SimulatedCachingAllocator.alloc_or_map_segment 用 for i, seg in enumerate(segments) 线性扫描找左右相邻 segment,而同文件其他查找已用二分。行为不一致且复杂度 O(N)。
建议:用二分定位起始位置后向两侧扩展扫描。
涉及代码:src/pt_snap_cli/vendor/memsnapdump/simulate/simulated_caching_allocator.py:alloc_or_map_segment
4. SQLite 写入未调优 PRAGMA【中】
SqliteDB.__init__ 中 sqlite3.connect(self.path) 未设置 journal_mode / synchronous / cache_size。默认 synchronous=FULL 每次 commit 都 fsync,对 SnapshotDbHandler 每 1000 条 commit 一次的写入模式影响巨大(典型 5-10× 差距)。
建议:import 写入路径开启
conn.execute("PRAGMA journal_mode = MEMORY")
conn.execute("PRAGMA synchronous = OFF")
conn.execute("PRAGMA cache_size = -65536") # 64MB涉及代码:src/pt_snap_cli/vendor/memsnapdump/util/sqlite_meta.py:SqliteDB.__init__
5. Pickle 整体加载,无流式处理【中】
file_util.load_pickle_to_dict 直接 pickle.load(f),整个 dict 一次性进内存。大快照(1-10GB)内存峰值极高。
建议:评估是否能基于 pickletools 或自定义 Unpickler 流式产出 device_traces;短期可先在文档中说明内存需求。
涉及代码:src/pt_snap_cli/vendor/memsnapdump/util/file_util.py:load_pickle_to_dict
二、DB 查询路径(query 命令)
6. 完全没有创建索引【严重】
SnapshotDb.create_block_table / create_trace_entry_table 只创建了表,SqliteTable.create_index 方法存在但从未被调用。而查询模板大量使用以下列做 WHERE / ORDER BY / 聚合:
| 模板 | 使用列 |
|---|---|
leak_detection |
size, allocEventId, freeEventId |
active_blocks_at_event |
allocEventId, freeEventId, size |
memory_peak |
allocated, active, reserved 上的 MAX() |
allocator_gap |
同上 |
对几十万行的表,全部退化为全表扫描。
建议:在 create_block_table / create_trace_entry_table 后追加:
table = self.get_block_table(device)
for col in ("allocEventId", "freeEventId", "size"):
table.create_index(self.conn, col)
table = self.get_trace_entry_table(device)
for col in ("allocated", "active", "reserved"):
table.create_index(self.conn, col)涉及代码:src/pt_snap_cli/vendor/memsnapdump/tools/adaptors/database/snapshot_db.py
7. max_rows 在 Python 层切片而非 SQL LIMIT【中】
QueryService.execute_query 先 executor.execute_template 拉全部行(cursor.fetchall() + 构造 dict 列表),再用 rows[:max_rows] 切。对大结果集是双倍内存 + 全量扫描。
建议:把 max_rows 通过模板变量注入 SQL 末尾的 LIMIT,下推到 SQLite。注意 active_blocks_at_event 已自带 LIMIT,但 leak_detection / block / event / allocation 均未带。
涉及代码:
src/pt_snap_cli/core/query_service.py:execute_querysrc/pt_snap_cli/query/executor.py:execute(fetchall())
8. memory_peak 模板嵌套子查询【中】
memory_peak.yaml 有 6 个嵌套子查询,每个子查询全表扫描一次,外层再扫一次,总计约 12N 次行扫描(无索引时)。
建议:用 CTE 把峰值计算收敛到一次扫描:
WITH peaks AS (
SELECT MAX(allocated) AS pa, MAX(active) AS pac, MAX(reserved) AS pr
FROM {{ device_trace_table }}
{% if start_id is not none %}WHERE id >= {{ start_id|int }}{% endif %}
)
SELECT pa,
(SELECT MIN(id) FROM {{ device_trace_table }} WHERE allocated = pa) AS peak_allocated_event_id,
pac,
(SELECT MIN(id) FROM {{ device_trace_table }} WHERE active = pac) AS peak_active_event_id,
pr,
(SELECT MIN(id) FROM {{ device_trace_table }} WHERE reserved = pr) AS peak_reserved_event_id
FROM peaks涉及代码:src/pt_snap_cli/query/templates/statistical/memory_peak.yaml
9. Jinja 模板无编译缓存【低】
QueryExecutor.render 每次 self._env.from_string(template.query) 重新解析模板字符串。CLI 单次调用影响小,MCP 反复调用有累积开销。
建议:按 template name 缓存编译后的 Template 对象。
涉及代码:src/pt_snap_cli/query/executor.py:render
10. MCP 场景下连接未复用【低】
QueryService.execute_query 每次新建 Context → 新建 sqlite 连接 → 关闭,并重复做 schema 校验和 device discovery。MCP server 长驻时反复 open/close。
建议:在 SnapshotAnalyzer 或 QueryService 中按 db_path 缓存 Context。
涉及代码:src/pt_snap_cli/core/query_service.py:execute_query / src/pt_snap_cli/context.py:Context
影响总结
| 路径 | 瓶颈点 | 严重程度 | 复杂度退化 |
|---|---|---|---|
| Import | attach_block/detach_block 列表插入删除 |
严重 | O(N²) |
| Import | _insert_segment_sorted 重建 keys |
中 | O(N²) |
| Import | alloc_or_map_segment 线性扫描 |
中 | O(N²) |
| Import | SQLite 写入未调优 PRAGMA | 中 | 5-10× 慢 |
| Import | Pickle 整体加载 | 中 | 内存 O(文件大小) |
| Query | 完全无索引 | 严重 | 全表扫描 |
| Query | max_rows Python 层切片 |
中 | 多余内存/IO |
| Query | memory_peak 嵌套子查询 |
中 | 12N 次扫描 |
| Query | Jinja 模板无缓存 | 低 | 单次影响小 |
| Query | 连接未复用 | 低 | 仅 MCP 累积 |
验收标准
-
SnapshotDb在建表后自动创建常用列的索引 - import 路径下
segment.blocks的插入/删除复杂度降到 O(log N) - import 路径下 SQLite 写入开启
journal_mode=MEMORY+synchronous=OFF -
QueryService.execute_query的max_rows通过 SQLLIMIT下推 -
memory_peak模板用 CTE 重写,扫描次数从 12N 降到常数次 - 新增基准测试(如
tests/perf/),对比优化前后在大快照上的耗时与内存 - 现有测试全部通过,特别是
tests/test_contract_cli_mcp.py的 CLI/MCP 语义契约
参考资源
- SQLite 性能调优:https://www.sqlite.org/pragma.html#pragma_synchronous
sortedcontainers文档:https://grantjenks.com/docs/sortedcontainers/- Jinja2 模板缓存:https://jinja.palletsprojects.com/en/3.1.x/api/#bytecode-cache
Activity
codeasier commentedon Jul 27, 2026
子任务拆分
已将本 issue 拆分为 4 个独立可交付的子任务,按「严重程度 + 修复路径独立性」分组:
依赖关系
allocated/active/reserved索引效果最佳,但两者可独立合并,无硬阻塞。建议交付顺序
子任务全部完成后,本 issue 可关闭。
codeasier commentedon Aug 6, 2026
补充实测结论:高事件数 + 深调用栈场景
在 #73/#74/#75/#77/#80 相关优化合入后,进一步拆分 import 阶段发现:当前瓶颈不能只看
pickle.load。PR #82 已显著降低 allocator replay 的数据结构查找成本,但没有改变TraceEntry/Frame对象重建和调用栈字符串化路径。测试环境
pt-snapdafaf4fpost-#82 顶层分段计时
对象重建阶段会为每个事件的每个 frame 创建
Frame对象。计数结果约为:Frame.from_dict,平均 80.9 frame/事件。Frame.from_dict,平均 67.5 frame/事件。event2record()随后还会通过TraceEntry.get_callstack()再次遍历每个事件的 frame 列表并生成字符串。对于百万事件、平均 100 frame 的负载,仅该类 frame 访问规模就可能达到约 1 亿次,且会产生大量短生命周期对象和字符串。结论
DeviceSnapshot.from_dict触发的TraceEntry/Frame对象重建,以及后续每事件调用栈字符串化。O(事件数 × 平均调用栈深度);调用栈越深、事件越多,耗时和 RSS 会快速膨胀。_origin生命周期开展专项优化。已创建新的跟踪子 issue:#84。该 issue 包含合成负载矩阵、验收指标和兼容性要求。
说明:此前 #74 评论中的“纯模拟 replay”阶段实际包含
SimulateDeviceSnapshot构造,因此也包含对象重建;本评论使用新的顶层分段定义,避免将对象重建耗时误归因于 allocator replay。perf(query): optimize query execution layer (#76) (#93)