Skip to content

[H3] v1 _traces 的 SELECT * 拉取 inline callstack 文本,耗尽字节预算 #220

Closed

Description

@codeasier

父 issue:#217

问题

v1 数据集下 dataset_global.py 的 _traces 用 SELECT *,把 inline callstack 文本一起取出,而峰值和分页并不需要这一列。

复现

  • 栈长 8 KB 时,1 万事件的 memory_peak 即超出 64 MiB 字节预算;4000 事件可通过

建议

  • 只取需要的列:id, allocated, active, reserved,event 模板再加它实际用到的列
  • 改动很小,可以先于 H1 单独合入

验收

  • 长栈(8 KB+)下 memory_peak 的字节开销与栈长无关

Activity

  1. codeasier commented on Oct 10, 2026

    @codeasier
    OwnerAuthor

    已在 main 7c33464906aced190698452ebb3a8de8e8e9ab05 的 pip 安装包上复现,H3 确认成立。环境为 Linux x86_64、Python 3.12.14、SQLite 3.53.1;独立 venv 内从源码构建安装 0.4.0.post1.dev31,未修改产品源码。

    同一 v1 SQLite schema、相同事件/metric,只改变 inline stack 长度,均为自行生成数据,无 pickle:

    • 4,000 事件 × 8,192 ASCII bytes 栈:memory_peak 成功;4,001 budget rows(含1输出)、33,322,854 serialized bytes;0.142秒;峰值RSS 58,512 KiB。
    • 10,000 事件 × 8,192 bytes 栈:失败;读取到8,192行时已累计68,252,375 serialized bytes,超过67,108,864;0.315秒;RSS 94,344 KiB。此时远未达到10万行上限。
    • 10,000 事件 × 16 bytes 栈:成功;10,001 rows、1,558,606 bytes;0.098秒;RSS 28,644 KiB。

    额外对照:直接对同一10k长栈成员DB运行 standalone memory_peak 成功(0.008秒),结果与10k短栈一致。

    未插桩 venv/bin/pt-snap query ... --template-use memory_peak --json 也分别返回 exit 0 / 1 / 0,失败为 QUERY_FAILED。峰值计算只需 counters/id,但当前 _traces 的 SELECT * 读取并序列化 callstack,故栈长度足以改变能否求峰值。上述 byte 是预算内 JSON 序列化量而非文件大小/RSS;本例用 ASCII,非 ASCII 在 ensure_ascii=True 下还会膨胀。单次时延仅供复现实验参考。

    复现命令(安装步骤和生成脚本见 #218 的本次复现评论):

    venv/bin/python h13/repro.py make h13/long10k 10000 10000 8192
    venv/bin/python h13/repro.py run h13/long10k memory_peak '{}'
    venv/bin/pt-snap query h13/long10k --template-use memory_peak --json

    对照分别用 4000 4000 8192 和 10000 10000 16。完整日志在 h13/results-long4k.jsonl、results-long10k.jsonl、results-short10k.jsonl、cli-results.jsonl。

    建议先以模板明确投影所需列(peak 为 id/allocated/active/reserved),不要统一 SELECT *;event 的栈输出和 order_by=callstack 语义需单独保持。随后结合 #218 做 SQL 聚合下推,投影本身并不解除10万行规模问题。回归以相同 counters、16-byte/8-KiB/更长及非ASCII栈进行差分,断言 peak 结果与预算字节开销不随 stack 长度变化;同时验证 event 的分页、栈返回和栈排序未退化。

    完整独立生成脚本见 #218 本次复现评论中的折叠代码(保存为 h13/repro.py)。

    固定版本因果路径:_traces 的 SELECT *、consume 的 JSON 字节计量。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions