父 roadmap:#197 实施阶段:P2 依赖:#198、#199、#200 范围:接入 import 参数和服务,完整暂存后发布,包含数据集缓存身份与失败回滚。 ## 功能描述 将分库 writer 接入 ImportService 和 CLI,延续当前单库 import 的暂存、验证、源文件变化检查、发布及 focus 回滚合同。 ## 使用场景 大 snapshot 解析可能中断、回填失败或写 focus 失败。用户已存在的 DB/数据集及当前 focus 必须保持可用,不能留下被当作完整缓存的半成品。 ## 期望的实现方式 - 增加可选分库容量参数(建议 `--events-per-slice N`)及输出格式选择;最终命名由产物协议决定,默认单库行为保持兼容。 - 在目标同级暂存目录中完成所有设备、分片、block 回填、扩展写入与验证;关闭连接后再发布整个数据集。 - 发布顺序及替换策略显式设计:完整 manifest 不能指向未发布/未最终化 DB。处理已有目标、强制重建和目录替换失败。 - 将请求的 focus 更新纳入事务补偿;发布或 focus 失败后恢复旧产物和旧 focus,清理本次暂存文件。 - pt-snap 缓存身份至少包含原始内容 SHA256、设备选择、events_per_slice、输出格式、产物/导入/扩展版本;不要仅检查某片存在或 manifest complete。 - msinsight 的 salted cacheHash 与 pt-snap 缓存身份分别管理;不能互相替代。源文件在解析期间变化时拒绝发布。 - CLI 返回数据集路径、设备、分片数量、复用/重建状态;服务层统一错误模型和资源所有权。 ## 验收标准 - [ ] 分库 import 可生成并 focus 完整数据集,单库既有使用不回归。 - [ ] 相同输入/选项复用;改变内容、设备、分片大小、格式或版本正确失效。 - [ ] 模拟加载/写库/回填/验证/发布/focus 任一阶段失败,旧产物和 focus 保持一致。 - [ ] 发布成功后全部分片可只读打开,manifest 与实际设备/范围一致。 - [ ] CLI JSON、参数错误和服务结果有合同覆盖;不把 import/split 扩成 SnapshotAnalyzer 的职责。 - [ ] 中英文 import 文档明确输出目录、缓存、覆盖和失败行为。 ## 参考资源 - `core/import_service.py`、`core/import_metadata.py`、`core/models.py`、`cli.py`。 - 当前仓库 AGENTS:trusted input、transactional publication 与 focus rollback 合同。
Activity
codeasier commentedon Oct 4, 2026
Issue review
Reality: 需求真实,但属于分库接入缺口,不是现有单库缺少事务:参数/结果仍面向单个 DB,现有服务已做暂存、源哈希复核、metadata 验证和 focus 失败补偿。
Reasonableness: 方向合理;缓存应覆盖设备、分片容量、格式及兼容版本,并独立于 msinsight cacheHash。须明确“导入版本”的含义:现有测试刻意忽略 importer_version,不宜顺带让每次 CLI 升级都重建。
Boundary: 限定为导入服务/后端、CLI 合同、故障注入及双语文档,默认单库和 SnapshotAnalyzer 职责不变。先定数据集 focus 与非空目录替换协议;关闭并验证全部分片后再发布,补测阶段失败和 manifest 一致性。回滚自身失败须保留恢复证据并明确报错,不能承诺任意 I/O/崩溃下无条件恢复。
Evidence:
Limitations: 基于上述固定基线;已读完整 issue及全部评论(0 条)。仅静态阅读及提取缓存方法的内存检查,未跑 pytest/真实分库故障复现;未核实依赖协议与 msinsight 上游行为。
feat: publish transactional native snapshot datasets (#201)
codeasier commentedon Oct 8, 2026
代码已由 #216 合入 origin/main(9 commits 链,tip 7c33464)。按维护决定先关闭本 issue;PR #216 中声明 deferred 的 GUI / C++ server / 安装 wheel 人工验收,以及 #217 系列默认规模不可用问题,另行跟踪。