## 功能描述 import 路径在 SQLite 写入和 pickle 加载两个环节存在配置层面的性能问题,未做任何调优。本 issue 是 #72 的子任务,聚焦「I/O 层调优」。 ## 使用场景 - `pt-snap import` 大型 PyTorch 内存快照(pickle 文件 ≥ 1GB) - 内存受限的环境下导入大快照 ## 期望的实现方式 ### 1. SQLite 写入未调优 PRAGMA【中】 `SqliteDB.__init__` 中 `sqlite3.connect(self.path)` 未设置任何 PRAGMA。默认 `synchronous=FULL` 每次 commit 都 fsync,对 `SnapshotDbHandler` 每 1000 条 commit 一次的写入模式影响巨大(典型 5-10× 差距)。 **建议**:import 写入路径开启: ```python self.conn = sqlite3.connect(self.path) # import 写入路径专用调优(仅在写入场景启用) self.conn.execute("PRAGMA journal_mode = MEMORY") self.conn.execute("PRAGMA synchronous = OFF") self.conn.execute("PRAGMA cache_size = -65536") # 64MB self.conn.execute("PRAGMA temp_store = MEMORY") ``` 涉及代码:`src/pt_snap_cli/vendor/memsnapdump/util/sqlite_meta.py:SqliteDB.__init__` #### 注意事项 - `Context`(读侧,[context.py:120](src/pt_snap_cli/context.py))以 `mode=ro` 只读打开,**不应**应用写入 PRAGMA。需要区分写入连接和只读连接的初始化路径。 - `journal_mode=MEMORY` 在进程崩溃时会丢失未提交数据,但 import 是一次性建库操作,可接受;写入完成后正常 close 即可。 - 可考虑把 PRAGMA 配置抽成 `SqliteDB` 的可选参数(如 `write_optimized: bool = False`),避免影响未来其他用途。 - `SqliteDB` 是 vendor 代码,修改需保持向后兼容(不破坏 vendor 的独立可用性)。 ### 2. Pickle 整体加载,无流式处理【中】 `file_util.load_pickle_to_dict` 直接 `pickle.load(f)`,整个 dict 一次性进内存。大快照(1-10GB)内存峰值极高。 **建议**(分阶段): - **短期**:在文档(`docs/zh/quickstart.md` / `docs/en/quickstart.md`)中明确说明大快照的内存需求(约 pickle 文件大小的 2-3 倍),并提示可用 `--device` 只导入单个 device 减少内存。 - **长期**:评估基于 `pickletools` 或自定义 `pickle.Unpickler` 子类,流式产出 `device_traces`,按 device 增量处理。需要确认 PyTorch snapshot pickle 的内部结构是否支持流式反序列化。 涉及代码: - `src/pt_snap_cli/vendor/memsnapdump/util/file_util.py:load_pickle_to_dict` - `src/pt_snap_cli/vendor/memsnapdump/tools/adaptors/snapshot2db.py:dump`(按 device 循环处理,理论上可配合流式加载) ## 验收标准 - [ ] 写入路径(`SqliteDB`)开启 `journal_mode=MEMORY` + `synchronous=OFF` + 调大 `cache_size` - [ ] 只读路径(`Context`)不受影响,仍为 `mode=ro` - [ ] PRAGMA 配置可参数化(不强制所有连接都走写入优化) - [ ] 文档补充大快照内存需求说明 - [ ] 现有测试全部通过 - [ ] 新增基准:对相同大快照做 import 耗时对比,确认 5× 以上提升 - [ ] (长期)评估流式加载可行性,输出技术调研结论(可作为本 issue 的评论或独立 PR) ## 父 issue #72
Activity
codeasier commentedon Jul 27, 2026
代码审查意见
经过代码核查,问题描述基本属实,但有几处需要纠正或补充。
已确认的问题
SQLite 写入无 PRAGMA:
sqlite_meta.py:390中sqlite3.connect(self.path)未设置任何 PRAGMA,默认synchronous=FULL。SnapshotDbHandler每 1000 条 commit 一次(snapshot2db.py:34-35, 41-42, 57, 66),写入放大确实严重。问题成立。Context已独立:context.py:119使用file:{path}?mode=ro,只读路径与写入路径完全分离,修改SqliteDB写入配置不会影响只读侧。Pickle 整体加载:
file_util.py:32-33中pickle.load(f)一次全部加载,内存峰值高,问题成立。需要纠正的地方
1.
journal_mode=MEMORY的崩溃风险描述不准确issue 原文写的是「丢失未提交数据」,但 SQLite 文档的实际描述是:进程崩溃时数据库文件本身可能损坏(corruption),而不只是丢失未提交数据。损坏的 DB 文件仍能通过
dictionary表的 schema 检查,但查询结果会出错,且用户不易察觉。建议在注意事项中改为「进程崩溃可能导致数据库文件损坏」,并说明 import 失败或中断后应删除产生的
.db文件。目前import_service.py在dump()返回False时不清理产物文件,这在开启synchronous=OFF后是一个更明显的问题,建议作为验收标准的一项。2.
--device不能降低 Pickle 加载的内存峰值issue 短期建议写道「提示可用
--device只导入单个 device 减少内存」。代码中snapshot2db.py:139先调load_pickle_to_dict把整个 dict 加载到内存,再在snapshot2db.py:154-155才根据--device过滤。所以--device只能减少SimulateDeviceSnapshot对象图的构建,不影响 pickle 加载的峰值内存。文档说明不应以此作为内存优化建议;应改为说明峰值约等于完整 pickle 对象图大小(通常 3-10 倍于文件大小,取决于 frame 对象密度),并建议在内存充足的机器上运行 import。
3.
temp_store=MEMORY对纯 INSERT 工作负载无效issue 推荐的 PRAGMA 片段包含
PRAGMA temp_store = MEMORY,但该 PRAGMA 只对 ORDER BY / GROUP BY / 子查询的临时表有效,对批量 INSERT 无任何影响。建议从推荐配置中去掉,避免误导。4. 验收标准中「5× 以上提升」的范围定义有问题
PRAGMA 优化的是 write 子步骤,而对大快照来说 import 的主要耗时是 #74 描述的 O(N²) 回放,不在本 issue 的优化范围内。「对相同大快照做 import 耗时对比,确认 5× 以上提升」这个验收标准在 #74 未完成时大概率无法满足,容易造成混乱。
建议改为专项测量写入吞吐:例如对同等规模的 INSERT 批次(不含回放)做 with/without PRAGMA 对比,确认写入侧提升,而不是 end-to-end import 时间。
5. PRAGMA 更适合放在
SnapshotDb而不是SqliteDBissue 建议在
SqliteDB加write_optimized: bool = False参数,但从代码来看SnapshotDb(snapshot_db.py:57-58)是唯一的写入子类,且仅在DumpEventHooker/SnapshotDbHandler中实例化,从不用于只读场景。因此更简洁的做法是直接在
SnapshotDb.__init__里设置这几条 PRAGMA,不需要修改共享的SqliteDB类,也不需要额外参数,vendor 向后兼容性更好。总结
temp_store)--device降内存)SnapshotDb而非SqliteDB应用 PRAGMA 更简洁