Skip to content

[FEATURE] 建立分库与 msinsight 双向互操作验收、性能基线和文档 #205

Closed

Description

@codeasier

父 roadmap:#197
实施阶段:P4
依赖:#198、#199、#201、#202、#200、#203、#204

范围:两条端到端链路、差分数据与真实 GUI 复用证据,补中英文说明、来源与性能限制。

功能描述

为分片数据集建立可重复的双向互操作验收,锁定受支持 msinsight 版本并记录真实运行证据,区分协议测试、差分验证与 GUI 实测。

使用场景

“manifest 能解析”不足以证明 GUI 复用缓存或全量分析正确。需要同时证明 pt-snap 产物可被 msinsight 消费,以及原版 MemSnapDump 产物可被 pt-snap 整份 focus 分析。

期望的实现方式

  1. 正向链路:同一可信 pickle → pt-snap 兼容分库 → msinsight 打开原始 pickle 并复用邻接产物 → 核对事件/曲线、block、跨片 alloc/free 详情。
  2. 反向链路:原版 MemSnapDump → 完整 manifest 分片目录 → pt-snap 整份 focus → 与单库基准比较指定事件、全量峰值、活跃归因、生命周期与泄漏候选。
  3. 覆盖长寿命 block 跨多片、地址复用、pending-free、静态/预存 block、expandable segment、OOM/workspace、多设备及非零原始 ID 处理。
  4. 原版无 pt_snap_metadata / allocation_ref / frames 扩展的产物必须覆盖;补增强 frame 产物的顺序与分层归因合同。
  5. 补失败注入:缓存失效、源文件变化、写库/回填/发布/focus 失败;旧产物与 focus 的回滚可复核。
  6. 测量解析耗时、加载/回放峰值 RSS、总磁盘、每片大小、长寿命 block 复制成本、事件定位与全量查询延迟;不把分库当成流式 pickle 或天然节省总磁盘。
  7. CI 使用小型确定性合同/差分测试。真实 msinsight GUI 验收可独立运行,但必须记录版本、命令、产物与缓存复用证据,不用 schema 测试代替 GUI 已验证的声明。
  8. 更新中英文 import/focus/query/database/report 与能力文档;诊断 skills 及 bundled 镜像同步数据集 scope、文本堆栈降级和全量支持矩阵。
  9. 借鉴或移植代码按仓库 snapshot provenance 流程追加固定来源、许可证和本地改动记录;新 pickle fixture 先走现有 provenance 审核,不混同代码来源记录。

验收标准

  • 两条链路均有固定目标版本和可重复执行步骤,真实 GUI 缓存复用有证据。
  • 差分验证覆盖计数器、真实事件范围、活跃集合、字节数、堆栈来源与生命周期。
  • 原版 MemSnapDump 无扩展表的反向读取通过;frames 能力限制准确可见。
  • 发布与 focus 失败回滚、缓存身份变更有回归覆盖。
  • 性能数据区分单库/原生分库/兼容分库,不作未测量的 RSS 或磁盘承诺。
  • 中英文文档、skills/bundled 与 CLI/API 实际行为一致;来源与 fixture 证据齐全。
  • 相关 focused tests、CLI/API 合同、治理检查及仓库质量门禁通过。

参考资源

  • pt-snap-cli 本地基线 09244150ef2a3485aca3d7d23b0f0af0a07f2cb9;msinsight 101f65b877a267ffd5f66ea3834706057ba243e5。这些是方案分析基线,实施前应重新核对目标版本。
  • https://gitcode.com/Ascend/msinsight:`scripts/MemSnapDump`、memsnapshot server 与可视化入口。
  • 仓库 tests/fixtures/AGENTS.md、snapshot/PROVENANCE.md、tests/test_contract_cli_api.py、benchmarks/。

Activity

  1. codeasier commented on Oct 4, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: 在固定基线,验收缺口确实存在:focus 仍打开单个 SQLite,split 只产出 pickle/JSON,不是 manifest 分库。现有证据不能证明 msinsight 双向互操作已经失败或通过。

    Reasonableness: 作为前置功能完成后的 P4,目标合理。协议、差分与真实 GUI 分层,无扩展表产物及跨片生命周期覆盖都必要;复用现有布局、缓存与回滚测试。CI 保持小型确定性测试,GUI 独立验收。

    Boundary: 限定为验收脚本、可复核证据、性能基线和双语/skills 契约;分库实现留给依赖项。先固定版本、样本哈希和全量归并去重口径,缓存复用须有能排除重建的证据;明确 frames 缺失降级及三模式同条件测量,不作未测 RSS/磁盘收益承诺。

    Evidence:

    Limitations: 已做静态审阅及 SQLite 内存检查;未跑 pytest、pickle 导入、性能基准或真实 GUI,未核实上游版本与依赖完成状态。待确认,未发布。

  2. codeasier commented on Oct 5, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: GUI 验收:待验收。 双向互操作中的真实 GUI 缓存复用与显示环节尚未实测;协议/合成/差分检查不等于完整双向链路已验收通过。

    Reasonableness: 落实原 issue 将小型确定性 CI 检查与独立 GUI 实测分开的要求合理;两层证据应分别记录,不能互相替代。

    Boundary: 按本任务用户确认的安排,本阶段先做实现、回归、差分与性能证据记录,暂不做 GUI 验收。后续需锁定真实目标构建,补版本/命令/产物校验和、缓存复用与未重跑 parser 证据,以及曲线/block/跨片详情对照;未实测项标记待验收或 not-run,而不是 passed。

    Evidence:

    Limitations: 本说明不宣称实现、双向互操作或性能验收已完成;GUI 相关验收项仍待补证,不关闭 issue,不修改验收清单。

  3. codeasier commented on Oct 8, 2026

    @codeasier
    OwnerAuthor

    代码已由 #216 合入 origin/main(9 commits 链,tip 7c33464)。按维护决定先关闭本 issue;PR #216 中声明 deferred 的 GUI / C++ server / 安装 wheel 人工验收,以及 #217 系列默认规模不可用问题,另行跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions