## 功能描述 大型 PyTorch 内存快照的 pickle 解析、事件回放和 SQLite 写入成本较高。当前对同一个源文件、相同 device 选择重复执行 `pt-snap import` 时,会无条件重建数据库。 增加可靠的 SnapshotDB 导入缓存:只有当源文件内容、导入格式版本和 device 选择完全匹配时才复用已有数据库,并在数据库内保存可查询的导入来源元数据。 本 issue 是 #72 的补充子任务,聚焦“避免重复解析”;不替代 #74/#75 对单次首次 import 的性能优化,也不替代 #73/#76 的查询性能优化。 ## 使用场景 - CLI 或 CI 中重复导入同一份大型快照 - 用户重新设置 focus,但不需要重新生成数据库 - 需要确认数据库由哪个源快照、device 选择和 importer 版本生成 - 导入格式升级后,需要可靠地让旧缓存失效并重建 ## 期望的实现方式 - 使用分块读取的 SHA-256 标识源文件内容,避免哈希过程引入额外内存峰值 - 在生成的 SQLite DB 中增加单行 `pt_snap_metadata` 表,保存源 SHA、源大小、源文件名、device、格式版本、importer 版本和完成时间 - 缓存命中条件严格包含:SnapshotDB schema 有效、metadata 有效、源 SHA 一致、格式版本一致、device 选择一致且未指定 `--force` - 缓存命中时跳过 vendored import backend,但保持 focus 更新语义 - 缓存未命中时在临时目录中完成导入、二次校验源 SHA、写入 metadata,再原子替换目标 DB - 增加 `pt-snap import --force`,允许显式强制重建 - 通过 CLI、Python API 和 MCP 暴露只读 metadata 查询 - 将 `import_format_version` 作为后续 DB 结构和导入语义升级的缓存失效机制 ### 性能边界 - 缓存命中仍需完整读取源文件一次计算 SHA-256,但不再执行 pickle 反序列化、事件回放和 SQLite 写入 - 首次或强制 import 会在 backend 读取之外增加导入前、导入后两次完整 SHA-256 扫描 - #74/#75 的性能基准应使用 `--force` 或清理目标 DB,避免缓存命中掩盖单次导入性能 - #73 若在本功能之后改变新生成 DB 的索引集合,应同步提升 `import_format_version`,确保无索引旧 DB 不会被直接复用 ## 参考资源 - 父 issue:#72 - 查询索引:#73 - import 数据结构:#74 - SQLite 写入与 pickle 加载:#75 - 查询执行层:#76 - 实现 PR:#71 ## 验收标准 - [ ] 相同源内容、格式版本和 device 的重复 import 不调用 backend - [ ] 源内容、格式版本或 device 任一变化都会触发重建 - [ ] `--force` 始终绕过缓存 - [ ] legacy、metadata 缺失或 metadata 无效的 DB 会安全重建一次 - [ ] 新 DB 包含经过验证的 `pt_snap_metadata` 单行记录 - [ ] 导入期间源文件发生变化时失败,并保留原有目标 DB - [ ] CLI、Python API 和 MCP 返回一致的 metadata 语义 - [ ] fresh import 和 cache-hit 路径均有自动化测试 - [ ] PR #71 使用 `Closes #<issue>` 建立关闭关联
Activity