父 issue:#217 ## 问题 - `dataset_global.py:287-291`:`callstack_analysis` 先用 `_traces` 取一遍,再通过 `sources.events()` 按批重取同一批事件,等于预算减半。`_events` 在 `order_by=callstack` 时也有同样的重复取数 - `dataset_attribution.py:28-41`:`active_*_at_event` 中每个活跃 block 自身占一行,它引用的源事件也计入预算 ## 复现 - 6 万事件 `callstack_analysis` 失败,同规模 `memory_peak` 成功 - 约 5 万活跃 block 时 `active_*_at_event` 失败(3 万可通过);v1 长栈下 64 MiB 大约只够几千个 block(推算) ## 建议 - 在同一次扫描中取得所需列,去掉二次重取 - 栈分组下推到每分片 SQL(与 H1 一起做) - 源事件只按去重后的实际读取量计入预算 ## 验收 - `callstack_analysis` 与 `memory_peak` 在同等规模下都能完成
Activity
codeasier commentedon Oct 10, 2026
复核结论:
callstack_analysis与event(order_by=callstack)的重复读取已确认;active_*_at_event的容量现象也确认,但原因需要更精确表述:block 行与其不同的源事件大多是实际不同记录,不能全部记成“重复取同一事件”。验证环境:main 固定在
7c33464906aced190698452ebb3a8de8e8e9ab05,Python 3.12.14 / SQLite 3.53.1,源码非 editable 安装,实际导入来自 venv 的site-packages/pt_snap_cli(版本0.4.0.post1.dev31)。未改产品代码,未执行 pickle,未改默认预算。下述输入是 compatibility-v1 合成 SQLite,30,000 事件/片,只将生命周期与该分片相交的 block 写入该片;不是把全量 block 填到每片。复现安装(独立检出,后续命令使用该环境):
把以下纯标准库脚本保存为
repro_h45.py。目标目录必须尚不存在:运行(失败命令退出1并在stderr输出JSON
QUERY_FAILED):包装原始
consume/DatasetSourceResolver.read/events只计数,不改变SQL、数据、预算或异常;所有主要现象另有无插桩运行时及真正console入口验证。上表49,999/50,000的callstack边界可把第一个生成命令的60000改为对应数量;active边界不是所有查询通用阈值,输出行数、未来free引用和文本大小都会改变它。
关键限定:
target(event_id)先验证最后的alloc事件,然后events()再取allocation refs;其余50k block和50k allocation event是不同记录。events()已使用sorted(set(event_ids)),单次调用已去重,不能把计数越界直接当成“没有去重”。stack_bytes是事后显示摘要,不能用它承诺降低原始读取成本。64 MiB指JSON序列化工作值,不是RSS。无插桩运行时单次样本:60k memory_peak 0.390秒 / 54,484 KiB RSS;callstack_analysis 0.731秒 / 78,012 KiB;30k active分组0.594秒 / 84,676 KiB;50k active分组失败0.915秒 / 94,708 KiB。真实CLI验证相同成败,错误代码均为QUERY_FAILED。共享机器单次样本不作为速度提升结论。
固定提交定位:callstack全量重取、callstack排序前取源、返回页又取源、active读取block和allocation/free引用、events内已有去重、预算计数含重复读取。
建议修复/回归:
输入是合成生命周期,不宣称由真实捕获replay生成;50,000事件cycle末尾pending观察已校正并重跑,100,001行失败结论不变。
范围:实测compatibility-v1;native-v2与ordered-frame修复项是应补的回归,不是本次已完成的覆盖。所有被测SQLite/manifest运行前后哈希相同,无WAL/SHM/journal生成。
fix: reuse budgeted dataset event sources (#222) (#225)
fix: push bounded dataset-global queries into SQLite (#218) (#228)
test: validate realistic and default-scale dataset queries (#223) (#229)