Skip to content

[FEATURE] 将 manifest 分片数据集作为整份 focus,只读兼容 MemSnapDump 产物 #200

Closed

Description

@codeasier

父 roadmap:#197
实施阶段:P1
依赖:#198

范围:数据集模型、DatasetResolver、focus、overview 与只读 Context 资源管理。

功能描述

让 pt-snap 接受 manifest 文件或分片产物目录作为一个完整 focus,直接分析原版 MemSnapDump 产物,不要求重新解析或原地迁移。

使用场景

用户只有 snapshot.pkl.msinsight/ 分片目录,希望一次 focus 后按设备/事件访问整份数据集,而不是逐个 DB 切换。原始 pickle 可以已归档。

期望的实现方式

  • 增加数据集模型与 DatasetResolver,将数据集、设备、显式分片、事件 ID 解析成实际 SQLite 路径;Context 继续负责具体 DB。
  • 扩展 Config/focus、CLI 与 SnapshotAnalyzer 的分析路径,保持现有显式路径 → 环境变量 → 项目 focus → legacy 配置优先级及设备选择规则。
  • 原版 manifest、v1 内联 callstack 分片、pt-snap 原生分片共享读取入口;不能要求 pt_snap_metadata、allocation_ref 或原始 pickle 存在。
  • 首版仅完整分析最终化 complete 产物。building/缺片/未知版本明确拒绝或报告覆盖限制,不能自动当作全量数据集。
  • overview 展示真实事件范围、设备、分片与格式/能力;负 ID 边界记录不作为真实范围起点。
  • 显式只读打开数据库,不更新外部 manifest/DB,不迁移、不把运行时检测结果写回 focus。
  • 连接与缓存拥有明确所有者和有界策略,避免大量分片造成文件描述符耗尽;数据集替换时检测版本/指纹失效。

验收标准

  • 原版 MemSnapDump 目录和 manifest 路径均可 focus;整份数据集可寻址。
  • 单库 v1/v2 focus/query 行为与当前保持一致。
  • 外部产物无 metadata/扩展表、原始 pickle 不存在时仍可读取受支持能力。
  • 数据集与 DB 的只读性有哈希/内容前后对照;focus 不隐式迁移产物。
  • overview/能力清单准确表达设备、真实范围、格式和 frames 可用性。
  • CLI/API 对解析、设备、范围、错误与连接关闭有共享合同测试。

参考资源

Activity

  1. codeasier commented on Oct 4, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: 缺口真实:基线 0924415 的 focus/API 将路径直接交给单库 Context,没有 manifest/目录解析;overview 的 MIN/MAX 会纳入负 ID。v1/v2 无 metadata 的单库读取已存在,不应算本项新增成果。

    Reasonableness: 整份 focus、只读兼容和完整性显式化合理;Resolver 置于 Context 之上可复用现有有界 LRU。须明确原版 manifest 的完成判据、设备内事件路由与 frames 降级;整份可寻址不等于所有模板支持跨片全量分析。

    Boundary: 首版限完整数据集解析、focus/overview、受支持的寻址及资源管理,不重导入、迁移或补写 metadata。跨片聚合/生命周期重建另立契约;保留路径/设备优先级、API 会话 focus 与借用缓存所有权,补充 manifest/分片替换、缺片和只读测试。

    Evidence:

    Limitations: 已读原文及全部评论(0 条);内存 SQLite 检查确认两种布局识别及负 ID 被计入范围,连接经过拦截。未运行 pytest,未验证真实 MemSnapDump 产物、磁盘只读哈希或 #198 交付。仅待确认草稿,未发布。

  2. codeasier commented on Oct 8, 2026

    @codeasier
    OwnerAuthor

    代码已由 #216 合入 origin/main(9 commits 链,tip 7c33464)。按维护决定先关闭本 issue;PR #216 中声明 deferred 的 GUI / C++ server / 安装 wheel 人工验收,以及 #217 系列默认规模不可用问题,另行跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions