Skip to content

[FEATURE] 数据集按事件查询与跨片 alloc/free、堆栈来源解析 #203

Closed

Description

@codeasier

父 roadmap:#197
实施阶段:P2
依赖:#198、#200

范围:事件路由、片外申请/释放引用、活跃内存归因与结构化 frame 能力回退。

功能描述

在数据集内定位事件所属分片,并为 block 的片外申请/释放事件批量解析来源,保证事件时刻内存归因不会因本地 JOIN 缺行而失真。

使用场景

block 在事件 100 申请,查询事件 700 所在片范围 [500,999]。该片回填 allocEventId=100 后仍没有事件 100,本片 block → trace_entry JOIN 会错误显示 missing callstack。

期望的实现方式

  • 按 manifest 和 device 路由目标真实事件;统一快照对应事件前/后、边界及 scope 规则。
  • 对片外 allocEventId/freeEventId 批量定位来源分片并获取事件、格式化堆栈;避免每 block 单独开库查询。
  • pt-snap 输出可提供 allocation_ref 等加速扩展,但读取原版 MemSnapDump 必须有跨片回退,不能依赖扩展存在。
  • 真实事件表仍只含本窗口真实事件及协议边界记录;不要为了补 JOIN 把片外申请重复插入真实事件统计。
  • 适配 v1 内联堆栈与 v2 callstackId 去重布局;动态、预存/静态、真正缺失来源分开表达。
  • 根据完整生命周期与 pending-free 语义计算目标时刻活跃集合,不能把跨片 block 自动当静态块。
  • 保留结构化有序 frames 扩展与分层树分析接口。仅有格式化文本的外部产物可做文本归因,不能承诺恢复精确原始 frame 数组;能力与降级结果显式可见。
  • 事件查询、峰值归因报告复用共享解析服务,继续提供 limit/has_more/truncated 与查询覆盖范围。

验收标准

  • 跨多片 alloc/free 引用可解析,地址复用、多设备不会串联错误来源。
  • 单库与原生/兼容分片在相同事件的活跃集合、字节数、调用栈归因一致。
  • 无 allocation_ref、无 pt_snap_metadata 的原版产物通过同样查询。
  • 有序 frames 扩展存在时保留顺序、重复帧与身份;无扩展时准确报告能力限制。
  • 负 ID 边界、静态/预存块、缺失引用、越界事件有明确分类与测试。
  • 合成高 block 数场景验证批量解析,连接数及查询次数有界。

参考资源

  • query/templates/business/active_memory_callstack_at_event.yaml、query/executor.py、core/query_service.py、core/report_service.py。
  • 原版 MemSnapDump 的回填只补 block 引用,不保证片外事件在本片存在。

Activity

  1. codeasier commented on Oct 4, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: 缺口成立:基线 0924415 的 v1/v2 内存复现中,alloc=100、查询=700,片内没有事件100时,1024字节被归为 missing;字节和 dynamic 分类仍保留,并非自动变静态。现有入口只解析单库。

    Reasonableness: 批量跨片回退、查询/报告共享解析合理;必须先解析来源再聚合/top_n,避免 missing 合并扭曲排名。复用已有 v1/v2 和完整性契约;结构化 frames 是可选扩展,文本产物不能承诺精确恢复。

    Boundary: 以 #198/#200 契约为前提,先限定事件路由、生命周期和来源解析。按数据集/device/申请事件身份定位,不能用地址或裸 callstackId 串联;明确事件前后、free_completed、负边界及缺片状态,不补造真实事件。树分析宜分阶段;来源覆盖不足需区别于行截断。

    Evidence:

    Limitations: 仅静态审阅及4组无文件写入的内存 SQL 检查;未运行 pytest、原版分片实物或高 block 数验收,未核实上游回填实现。依赖契约、批量性能和完整数据集一致性仍待验证。

  2. codeasier commented on Oct 8, 2026

    @codeasier
    OwnerAuthor

    代码已由 #216 合入 origin/main(9 commits 链,tip 7c33464)。按维护决定先关闭本 issue;PR #216 中声明 deferred 的 GUI / C++ server / 安装 wheel 人工验收,以及 #217 系列默认规模不可用问题,另行跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions