Skip to content

[FEATURE] 调优 SQLite 写入 PRAGMA 并评估 Pickle 流式加载(子任务 #72-3) #75

Closed

Description

@codeasier

功能描述

import 路径在 SQLite 写入和 pickle 加载两个环节存在配置层面的性能问题,未做任何调优。本 issue 是 #72 的子任务,聚焦「I/O 层调优」。

使用场景

  • pt-snap import 大型 PyTorch 内存快照(pickle 文件 ≥ 1GB)
  • 内存受限的环境下导入大快照

期望的实现方式

1. SQLite 写入未调优 PRAGMA【中】

SqliteDB.__init__ 中 sqlite3.connect(self.path) 未设置任何 PRAGMA。默认 synchronous=FULL 每次 commit 都 fsync,对 SnapshotDbHandler 每 1000 条 commit 一次的写入模式影响巨大(典型 5-10× 差距)。

建议:import 写入路径开启:

self.conn = sqlite3.connect(self.path)
# import 写入路径专用调优(仅在写入场景启用)
self.conn.execute("PRAGMA journal_mode = MEMORY")
self.conn.execute("PRAGMA synchronous = OFF")
self.conn.execute("PRAGMA cache_size = -65536")  # 64MB
self.conn.execute("PRAGMA temp_store = MEMORY")

涉及代码:src/pt_snap_cli/vendor/memsnapdump/util/sqlite_meta.py:SqliteDB.__init__

注意事项

  • Context(读侧,context.py:120)以 mode=ro 只读打开,不应应用写入 PRAGMA。需要区分写入连接和只读连接的初始化路径。
  • journal_mode=MEMORY 在进程崩溃时会丢失未提交数据,但 import 是一次性建库操作,可接受;写入完成后正常 close 即可。
  • 可考虑把 PRAGMA 配置抽成 SqliteDB 的可选参数(如 write_optimized: bool = False),避免影响未来其他用途。
  • SqliteDB 是 vendor 代码,修改需保持向后兼容(不破坏 vendor 的独立可用性)。

2. Pickle 整体加载,无流式处理【中】

file_util.load_pickle_to_dict 直接 pickle.load(f),整个 dict 一次性进内存。大快照(1-10GB)内存峰值极高。

建议(分阶段):

  • 短期:在文档(docs/zh/quickstart.md / docs/en/quickstart.md)中明确说明大快照的内存需求(约 pickle 文件大小的 2-3 倍),并提示可用 --device 只导入单个 device 减少内存。
  • 长期:评估基于 pickletools 或自定义 pickle.Unpickler 子类,流式产出 device_traces,按 device 增量处理。需要确认 PyTorch snapshot pickle 的内部结构是否支持流式反序列化。

涉及代码:

  • src/pt_snap_cli/vendor/memsnapdump/util/file_util.py:load_pickle_to_dict
  • src/pt_snap_cli/vendor/memsnapdump/tools/adaptors/snapshot2db.py:dump(按 device 循环处理,理论上可配合流式加载)

验收标准

  • 写入路径(SqliteDB)开启 journal_mode=MEMORY + synchronous=OFF + 调大 cache_size
  • 只读路径(Context)不受影响,仍为 mode=ro
  • PRAGMA 配置可参数化(不强制所有连接都走写入优化)
  • 文档补充大快照内存需求说明
  • 现有测试全部通过
  • 新增基准:对相同大快照做 import 耗时对比,确认 5× 以上提升
  • (长期)评估流式加载可行性,输出技术调研结论(可作为本 issue 的评论或独立 PR)

父 issue

#72

Activity

  1. codeasier commented on Jul 27, 2026

    @codeasier
    OwnerAuthor

    代码审查意见

    经过代码核查,问题描述基本属实,但有几处需要纠正或补充。


    已确认的问题

    SQLite 写入无 PRAGMA:sqlite_meta.py:390 中 sqlite3.connect(self.path) 未设置任何 PRAGMA,默认 synchronous=FULL。SnapshotDbHandler 每 1000 条 commit 一次(snapshot2db.py:34-35, 41-42, 57, 66),写入放大确实严重。问题成立。

    Context 已独立:context.py:119 使用 file:{path}?mode=ro,只读路径与写入路径完全分离,修改 SqliteDB 写入配置不会影响只读侧。

    Pickle 整体加载:file_util.py:32-33 中 pickle.load(f) 一次全部加载,内存峰值高,问题成立。


    需要纠正的地方

    1. journal_mode=MEMORY 的崩溃风险描述不准确

    issue 原文写的是「丢失未提交数据」,但 SQLite 文档的实际描述是:进程崩溃时数据库文件本身可能损坏(corruption),而不只是丢失未提交数据。损坏的 DB 文件仍能通过 dictionary 表的 schema 检查,但查询结果会出错,且用户不易察觉。

    建议在注意事项中改为「进程崩溃可能导致数据库文件损坏」,并说明 import 失败或中断后应删除产生的 .db 文件。目前 import_service.py 在 dump() 返回 False 时不清理产物文件,这在开启 synchronous=OFF 后是一个更明显的问题,建议作为验收标准的一项。

    2. --device 不能降低 Pickle 加载的内存峰值

    issue 短期建议写道「提示可用 --device 只导入单个 device 减少内存」。代码中 snapshot2db.py:139 先调 load_pickle_to_dict 把整个 dict 加载到内存,再在 snapshot2db.py:154-155 才根据 --device 过滤。所以 --device 只能减少 SimulateDeviceSnapshot 对象图的构建,不影响 pickle 加载的峰值内存。

    文档说明不应以此作为内存优化建议;应改为说明峰值约等于完整 pickle 对象图大小(通常 3-10 倍于文件大小,取决于 frame 对象密度),并建议在内存充足的机器上运行 import。

    3. temp_store=MEMORY 对纯 INSERT 工作负载无效

    issue 推荐的 PRAGMA 片段包含 PRAGMA temp_store = MEMORY,但该 PRAGMA 只对 ORDER BY / GROUP BY / 子查询的临时表有效,对批量 INSERT 无任何影响。建议从推荐配置中去掉,避免误导。

    4. 验收标准中「5× 以上提升」的范围定义有问题

    PRAGMA 优化的是 write 子步骤,而对大快照来说 import 的主要耗时是 #74 描述的 O(N²) 回放,不在本 issue 的优化范围内。「对相同大快照做 import 耗时对比,确认 5× 以上提升」这个验收标准在 #74 未完成时大概率无法满足,容易造成混乱。

    建议改为专项测量写入吞吐:例如对同等规模的 INSERT 批次(不含回放)做 with/without PRAGMA 对比,确认写入侧提升,而不是 end-to-end import 时间。

    5. PRAGMA 更适合放在 SnapshotDb 而不是 SqliteDB

    issue 建议在 SqliteDB 加 write_optimized: bool = False 参数,但从代码来看 SnapshotDb(snapshot_db.py:57-58)是唯一的写入子类,且仅在 DumpEventHooker / SnapshotDbHandler 中实例化,从不用于只读场景。

    因此更简洁的做法是直接在 SnapshotDb.__init__ 里设置这几条 PRAGMA,不需要修改共享的 SqliteDB 类,也不需要额外参数,vendor 向后兼容性更好。


    总结

    条目 结论
    SQLite PRAGMA 调优方向 正确,PRAGMA 配置合理(去掉 temp_store)
    只读路径安全 已确认隔离,无需担心
    短期文档建议(--device 降内存) 不准确,应修正
    崩溃风险描述 需要明确是「文件损坏」而非「丢失数据」
    验收基准范围 应缩小到写入侧,不含回放
    实现路径建议 在 SnapshotDb 而非 SqliteDB 应用 PRAGMA 更简洁
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions