Skip to content

[FEATURE] 分库 import 的事务发布、数据集缓存与 focus 回滚 #201

Closed

Description

@codeasier

父 roadmap:#197
实施阶段:P2
依赖:#198、#199、#200

范围:接入 import 参数和服务,完整暂存后发布,包含数据集缓存身份与失败回滚。

功能描述

将分库 writer 接入 ImportService 和 CLI,延续当前单库 import 的暂存、验证、源文件变化检查、发布及 focus 回滚合同。

使用场景

大 snapshot 解析可能中断、回填失败或写 focus 失败。用户已存在的 DB/数据集及当前 focus 必须保持可用,不能留下被当作完整缓存的半成品。

期望的实现方式

  • 增加可选分库容量参数(建议 --events-per-slice N)及输出格式选择;最终命名由产物协议决定,默认单库行为保持兼容。
  • 在目标同级暂存目录中完成所有设备、分片、block 回填、扩展写入与验证;关闭连接后再发布整个数据集。
  • 发布顺序及替换策略显式设计:完整 manifest 不能指向未发布/未最终化 DB。处理已有目标、强制重建和目录替换失败。
  • 将请求的 focus 更新纳入事务补偿;发布或 focus 失败后恢复旧产物和旧 focus,清理本次暂存文件。
  • pt-snap 缓存身份至少包含原始内容 SHA256、设备选择、events_per_slice、输出格式、产物/导入/扩展版本;不要仅检查某片存在或 manifest complete。
  • msinsight 的 salted cacheHash 与 pt-snap 缓存身份分别管理;不能互相替代。源文件在解析期间变化时拒绝发布。
  • CLI 返回数据集路径、设备、分片数量、复用/重建状态;服务层统一错误模型和资源所有权。

验收标准

  • 分库 import 可生成并 focus 完整数据集,单库既有使用不回归。
  • 相同输入/选项复用;改变内容、设备、分片大小、格式或版本正确失效。
  • 模拟加载/写库/回填/验证/发布/focus 任一阶段失败,旧产物和 focus 保持一致。
  • 发布成功后全部分片可只读打开,manifest 与实际设备/范围一致。
  • CLI JSON、参数错误和服务结果有合同覆盖;不把 import/split 扩成 SnapshotAnalyzer 的职责。
  • 中英文 import 文档明确输出目录、缓存、覆盖和失败行为。

参考资源

  • core/import_service.py、core/import_metadata.py、core/models.py、cli.py。
  • 当前仓库 AGENTS:trusted input、transactional publication 与 focus rollback 合同。

Activity

  1. codeasier commented on Oct 4, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: 需求真实,但属于分库接入缺口,不是现有单库缺少事务:参数/结果仍面向单个 DB,现有服务已做暂存、源哈希复核、metadata 验证和 focus 失败补偿。

    Reasonableness: 方向合理;缓存应覆盖设备、分片容量、格式及兼容版本,并独立于 msinsight cacheHash。须明确“导入版本”的含义:现有测试刻意忽略 importer_version,不宜顺带让每次 CLI 升级都重建。

    Boundary: 限定为导入服务/后端、CLI 合同、故障注入及双语文档,默认单库和 SnapshotAnalyzer 职责不变。先定数据集 focus 与非空目录替换协议;关闭并验证全部分片后再发布,补测阶段失败和 manifest 一致性。回滚自身失败须保留恢复证据并明确报错,不能承诺任意 I/O/崩溃下无条件恢复。

    Evidence:

    Limitations: 基于上述固定基线;已读完整 issue及全部评论(0 条)。仅静态阅读及提取缓存方法的内存检查,未跑 pytest/真实分库故障复现;未核实依赖协议与 msinsight 上游行为。

  2. codeasier commented on Oct 8, 2026

    @codeasier
    OwnerAuthor

    代码已由 #216 合入 origin/main(9 commits 链,tip 7c33464)。按维护决定先关闭本 issue;PR #216 中声明 deferred 的 GUI / C++ server / 安装 wheel 人工验收,以及 #217 系列默认规模不可用问题,另行跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions