Repository navigation
Description
功能描述
补充 #72 / #84:在索引、PRAGMA、二分查找和 import 路径 _raw_frames=True(#85)落地之后,大快照导入的主瓶颈已经不再是 allocator 查找或 Frame 对象重建,而是:
- 每个事件都把高度重复的调用栈文本写成
trace_entry.callstack TEXT - 为了算出
allocated/active/reserved和 block 生命周期,仍然走一遍倒序结构化回放
这两件事叠加后,628k 事件样本上约 62% 的 wall time 已经花在 SQLite 的 C 代码里,但那是被 5.36 GB 重复文本驱动出来的,不是语言本身慢。
对当前设计做 C++ 移植 + 多线程,收益有上限:
- 忠实移植:SQLite 写入不动,Python 段按 15× 压缩,总计大约 1.5×
- 两个回放线程实测 0.98×(CPython GIL,非 free-threaded)
- 仓库里的大样本都是单设备,跨设备并行几乎没有适用场景
正确杠杆是改算法和表结构,而不是换语言。纯 Python 原型已经在现有脱敏样本上验证过数量级收益。
使用场景
pt-snap import大型 PyTorch / NPU 内存快照(事件数 ≥ 10w,平均调用栈深度数十到上百)- 调用栈高度重复的训练任务(pickle memo 已经共享了 frame dict)
pt-snap split大快照:当前仍走完整Frame对象构造- 需要控制导入耗时、峰值 RSS 和 SnapshotDB 体积的 CI / 批处理
实测基线
测试机:macOS Darwin 25.0.0,Python 3.13.12(conda pt-snap)。代码版本:89f5ddd。样本:tests/fixtures/snapshots/snapshot_import_131k_sanitized.pickle、snapshot_import_628k_sanitized.pickle。先跑过 pytest tests/test_fixture_provenance.py。
当前 import 分段(device 0):
| 阶段 | 131k | 628k |
|---|---|---|
unpickle(SafeUnpickler) |
0.11s | 0.49s |
DeviceSnapshot.from_dict(_raw_frames=True) |
0.32s | 2.08s |
| 回放核心(不含 from_dict) | 0.28s | 1.71s |
get_callstack() 全量格式化 |
1.02s | 4.73s |
| SQLite 写入(含文本列) | ~0.46s | 17.01s |
| 全量 replay + dump | 2.98s | 26.89s |
| 峰值 RSS | 1.4 GB | 5.8 GB |
| 产出 DB | 664 MB | 5.95 GB |
对照:628k 行只写整数列时,executemany + 三个索引合计 0.51s。文本列占写入成本约 98%。
调用栈重复度:
| 样本 | 事件数 | frame 引用 | 不同 frame dict | 不同调用栈 | 格式化后文本 |
|---|---|---|---|---|---|
| 131k | 131,275 | 10,617,057 | 1,631 | 722 | 485 MB |
| 628k | 628,837 | 42,012,128 | 2,952 | 3,770 | 5.36 GB |
SafeUnpickler 相对 pickle.loads 没有额外开销(628k 上 0.88×)。
三个结构性发现
- 三个总量是纯前缀和,不需要段/块结构模拟。
allocated/active/reserved就是 ±事件 size 的累加。坑在于alloc记的是请求大小,free_*记的是对齐后块大小,所以alloc必须取配对 free 的 size;配不上则取 dump 时刻块 size。 - 块生命周期是一次哈希表地址配对。
allocEventId/freeEventId/size/requestedSize用addr -> alloc 下标正向扫一遍即可,不需要区间查找。 - 调用栈文本重复度极高。 pickle memo 已经共享了 frame dict;当前代码对每个事件重新格式化并重新存储。
结构化回放仍然必须保留:pt-snap split 的 SliceDumpHooker 要在切片边界深拷贝 segment 状态。它不该被快路径替换,但可以作为 import 的可选 --verify 预言机。
原型结果(纯 Python,无 C++ / 无线程)
保持 trace_entry_<device> 查询语义,调用栈改为 intern 后写入:
| 样本 | 现状 | 原型 | 加速 | DB 大小 |
|---|---|---|---|---|
| 628k | 29.1s | 2.76s | 10.5× | 5.95 GB → 126 MB(47×) |
| 131k | 3.05s | 0.54s | 5.7× | 664 MB → 19.5 MB(34×) |
正确性(相对当前 run_dump_to_db):
- 628k:
trace_entry628,837 行、动态 block 213,725 行、静态/预存 block 全部精确一致 - 131k:
trace_entry和动态 block 精确一致;静态/预存块 1447 vs 1463,差在workspace_snapshot校正([BUG] torch-npu workspace_snapshot 未校正 dump 时刻 segment 状态 #98 /_adapt_workspace_snapshot)的合成块规则未完整复现
真实查询模板结果一致:memory_peak、allocator_gap、callstack_analysis。
纯 Python 还能再压:array + itertools.accumulate 把前缀和从 0.523s 降到 0.138s;两级调用栈缓存(先按 frames 列表对象 id 短路)把 intern 从 1.178s 降到 0.843s。合计大约 2.0s / 约 14×。
期望的实现方式
按优先级,不引入新语言或新依赖。
1. split 路径补上 _raw_frames=True(独立、低风险)
SplitService._slice_device 调 replay_snapshot(...) 时没有传 _raw_frames=True,因此仍承担完整 Frame 对象构造。这一阶段 131k 是 5.12s vs 0.32s,628k 是 44.87s vs 2.08s。
实测把 131k 切成 4 片:12.47s → 2.58s(4.83×),每片 canonical_snapshot_sha256 完全相同。切片 pickle 字节会变(memo 布局不同),但项目自己的规范等价性成立;tests/core/test_split_service.py 断言的是 canonical bytes/sha,不是发布切片的字节相等。
2. import 快路径:intern + 前缀和 + 地址配对
- 正向扫描配对
alloc/free_requested/free_completed,用有效块大小做前缀和 - dump 时刻 totals 作为锚点;完整复现
_adapt_workspace_snapshot对 workspace 池的校正 - 调用栈 intern:按 frame 对象 id 和调用栈序列去重,只物化唯一文本
- 结构化回放保留给 split,以及 import 的可选校验模式
3. 表结构:真实表 + callstack_id,不要用 VIEW
初版把 trace_entry_0 做成 join callstack 的 VIEW 后,三个模板结果正确,但 allocator_gap 从 2.4ms 变成 12.4ms:
plan[真实表]: SCAN trace_entry_0 USING COVERING INDEX idx_trace_entry_0_allocated
plan[VIEW]: SCAN t
USE TEMP B-TREE FOR ORDER BY
正确做法:
trace_entry_<device>保持真实表,增加callstack_id INTEGER- 另建
callstack(id, text)(或等价字典表) - 只给引用调用栈文本的模板加 JOIN
- 辅助表名必须避开
Context._discover_device_ids的name LIKE 'trace_entry_%'(trace_entry_raw_0会被误识别成 device 0)
实测:数值查询 2.4ms(与现状 1.00×),调用栈聚合 832ms(现状 924ms)。
4. 不要做的事
- 不要为这条链路引入 C++ / Rust 扩展。做完 1–3 后,剩余下限大约是 0.46s pickle + 0.51s 纯整数写入,约 1.0s;那才是语言移植的上限。
- 不要对单设备回放做多线程。事件状态机是严格串行的;GIL 下线程实测无效。
- 不要用快路径替换 split 的结构化回放。
示例
# 当前
pt-snap import snapshot_import_628k_sanitized.pickle
# 期望:同一正确性,wall time 从约 27s 降到约 2–3s,DB 从约 6GB 降到约 100MB 量级
# 可选:用结构化回放交叉验证快路径
pt-snap import snapshot_import_628k_sanitized.pickle --verify验收标准
-
SplitService的 replay 使用_raw_frames=True;切片 canonical hash 与现状一致,split 测试通过 - import 快路径在 131k / 628k 脱敏样本上,
trace_entry的 id/action/address/size/stream/allocated/active/reserved/callstack 与当前实现逐行一致 - 动态 block 行(
allocEventId >= 0)与当前实现一致;静态/预存块完整覆盖workspace_snapshot校正 -
trace_entry_<device>仍是真实表且保留覆盖索引;allocator_gap/memory_peak不退化 -
callstack_analysis、active_memory_callstack_at_event结果与现状一致 -
Context.device_ids只发现真正的 per-device 表,不被辅助表名误导 - 结构化回放仍用于 split;import 可提供可选校验而不作为默认热路径
-
benchmarks/baseline_import.py报告 wall time、RSS、DB 大小,并与 [FEATURE] 优化高事件数深调用栈场景下的对象重建与调用栈处理 #84 基线可比 - 现有
tests/snapshot、tests/core/test_import_*.py、tests/core/test_split_service.py、tests/test_contract_cli_mcp.py通过
参考资源
- 父 issue:[FEATURE] 优化 pickle 解析与 DB 查询的性能瓶颈 #72、[FEATURE] 优化高事件数深调用栈场景下的对象重建与调用栈处理 #84(perf: skip Frame reconstruction during database import (#84) #85 已对 import 跳过
Frame重建) - workspace 校正:[BUG] torch-npu workspace_snapshot 未校正 dump 时刻 segment 状态 #98
- 查询层上一轮:[FEATURE] 查询执行层优化:max_rows 下推、memory_peak SQL 重写、模板缓存与连接复用(子任务 #72-4) #76
- SQLite 覆盖索引 / VIEW 与索引:https://www.sqlite.org/optoverview.html
- 本仓库
src/pt_snap_cli/snapshot/simulate/、src/pt_snap_cli/snapshot/tools/adaptors/snapshot2db.py、src/pt_snap_cli/core/split_service.py
Activity
perf: deduplicate SnapshotDB callstacks and skip Frame rebuild in split