Skip to content

[FEATURE] 缓存并复用相同快照的 SnapshotDB 导入结果(子任务 #72-5) #77

Closed

Description

@codeasier

功能描述

大型 PyTorch 内存快照的 pickle 解析、事件回放和 SQLite 写入成本较高。当前对同一个源文件、相同 device 选择重复执行 pt-snap import 时,会无条件重建数据库。

增加可靠的 SnapshotDB 导入缓存:只有当源文件内容、导入格式版本和 device 选择完全匹配时才复用已有数据库,并在数据库内保存可查询的导入来源元数据。

本 issue 是 #72 的补充子任务,聚焦“避免重复解析”;不替代 #74/#75 对单次首次 import 的性能优化,也不替代 #73/#76 的查询性能优化。

使用场景

  • CLI 或 CI 中重复导入同一份大型快照
  • 用户重新设置 focus,但不需要重新生成数据库
  • 需要确认数据库由哪个源快照、device 选择和 importer 版本生成
  • 导入格式升级后,需要可靠地让旧缓存失效并重建

期望的实现方式

  • 使用分块读取的 SHA-256 标识源文件内容,避免哈希过程引入额外内存峰值
  • 在生成的 SQLite DB 中增加单行 pt_snap_metadata 表,保存源 SHA、源大小、源文件名、device、格式版本、importer 版本和完成时间
  • 缓存命中条件严格包含:SnapshotDB schema 有效、metadata 有效、源 SHA 一致、格式版本一致、device 选择一致且未指定 --force
  • 缓存命中时跳过 vendored import backend,但保持 focus 更新语义
  • 缓存未命中时在临时目录中完成导入、二次校验源 SHA、写入 metadata,再原子替换目标 DB
  • 增加 pt-snap import --force,允许显式强制重建
  • 通过 CLI、Python API 和 MCP 暴露只读 metadata 查询
  • 将 import_format_version 作为后续 DB 结构和导入语义升级的缓存失效机制

性能边界

参考资源

验收标准

  • 相同源内容、格式版本和 device 的重复 import 不调用 backend
  • 源内容、格式版本或 device 任一变化都会触发重建
  • --force 始终绕过缓存
  • legacy、metadata 缺失或 metadata 无效的 DB 会安全重建一次
  • 新 DB 包含经过验证的 pt_snap_metadata 单行记录
  • 导入期间源文件发生变化时失败,并保留原有目标 DB
  • CLI、Python API 和 MCP 返回一致的 metadata 语义
  • fresh import 和 cache-hit 路径均有自动化测试
  • PR [codex] add snapshot import cache metadata #71 使用 Closes #<issue> 建立关闭关联
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions