Repository navigation
Closed
Description
最终验收状态(2026-10-11 UTC):按确认范围完成
本 issue 按已确认的有限验收范围关闭为 completed。以下最终状态取代历史正文中“仍保持开放”的状态说明;原始问题、旧状态和复现证据完整保留,便于追溯。
- fix: push bounded dataset-global queries into SQLite (#218) #228 / test: validate realistic and default-scale dataset queries (#223) #229 / feat: bound many-shard lifecycle queries with private scratch storage #231 已完成默认 500k/片、多分片的六类有界全局查询、严格差分及超过实际 ATTACH 上限的磁盘 SQLite 生命周期归约。规模证据与测量口径见下方历史记录,不改写为任意规模必过或跨环境性能保证。
- 收尾 PR test: close bounded-query and integrity-mode acceptance gaps (#218, #219) #233 已合入 main
39fefd1dad820f3262604f0dc9fb9bf9811a248a(treefdd05481d3e467f2546d52bda2dc2b61dabe1d61)。新增 41 项回归中,本项 5 项覆盖 scratch 结果阶段行/字节预算、timeout、取消与 SQLite I/O 失败,验证句柄关闭、私有存储删除、源数据不变、无新增 sidecar,以及随后精确重试恢复;另 36 项为 [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219 双模式验收。 - 合并前 CI 38104812415 七项通过。合并后精确 main 提交的 CI 38105436746 也已成功,七项检查通过;新增回归在四个 Python 版本均通过,浏览器与打包来源验收通过。
- 继续保留实际读取/物化、输出行数及 serialized-byte 保护。高基数栈、大 offset、无界输出、ordered-frame 回源及更大数据合理预算失败属于已接受边界,不把计费改成仅最终输出。
- 默认
max_scratch_db_bytes=512 MiB仅限制派生 main 数据库页,journal、sort/temp 和 RSS 另有开销;不是总临时磁盘或内存硬上限。正常异常、timeout、取消的清理已覆盖,强杀/崩溃后的清理不承诺。 - 前置完整验证、新 CLI cold 成本及缓存信任边界按 [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219 的最终双模式契约验收;本次关闭不承诺原子 snapshot、持久缓存或默认端到端耗时上限。
现状更新(2026-10-11 UTC)
本 issue 保持开放,跟踪下列剩余预算与资源边界。原文和早期复现评论保留为历史证据;“默认每片 500k 时六模板全部失败”和“超过 ATTACH 上限必然回退旧算法”已被后续合入修正,不再作为当前 main 的结论。
已合入与验证
- fix: push bounded dataset-global queries into SQLite (#218) #228 已合入(
c11a3abcfc8125cd81ff3150c7202146392c6318):峰值 SQL 聚合、event/allocation 候选分页、全局栈聚合以及 ATTACH 内的生命周期证明/归并。两个各 500k 事件分片的memory_peak、event、allocation、callstack_analysis、block、leak_detection六类有界查询在默认预算下通过;取回/输出仅 3–22 行不表示 SQLite 只处理这些行。 - test: validate realistic and default-scale dataset queries (#223) #229 已合入:默认规模与真实生命周期回归、非 editable wheel 的 500002 事件(500000 + 2 分片)第一方 importer→exporter→CLI/API 验收;扩展 200 seeds × 20 shapes 严格差分 4000/4000 exact。
- feat: bound many-shard lifecycle queries with private scratch storage #231 已合入(
c467aee329e7c7e63f18eb2ff1ebd0158c47770b):超过实际 ATTACH 上限时采用一次查询私有的磁盘 SQLite 窄表归约,源成员逐个只读挂载,在过滤/分页前完成证明、冲突检测和生命周期归并;原 <=cap 快路径保留。最终合入记录确认合入树与冻结验收树一致。 - #231 最终验收和规模记录:2198 passed / 2 intentional skips;840 例同树独立语义差分通过。12×500k 事件的短生命周期样本(3M lifecycles)三个模板 16.2–17.4s、派生 DB 226820096 B;6M 持续存活生命周期 / 39M 观察样本中 block、leak、lifetime 查询通过,派生 DB 351571968 B。查询实验 deadline 为 300s,冷 inspect 另计(重样本 239.34s);约 1.76 GiB 峰值 RSS 属于含验证阶段的整进程观测。以上不是跨环境性能或默认端到端耗时保证。
仍需保留的范围
- 高基数堆栈、大 offset、无界输出、ordered-frame 回源仍可能触发 fetched/output 行数及 serialized-byte 预算;保留实际读取/物化与输出保护,不改成只统计最终输出。
- 默认
max_scratch_db_bytes=512 MiB仅为派生 main 数据库页限额,不能称为总临时磁盘或 RSS 硬上限;journal、sort/temp 及其他内存仍有额外开销。更大数据仍可能正确地预算失败;设为 0 禁用新路径时保留受预算约束的 fallback。 - 正常取消、timeout、FULL/I/O 失败的清理与源 hash 不变已有验证;异常进程终止/崩溃后的临时数据清理仍不保证。
- 全集前置完整验证和新 CLI 进程的 cold 成本由 [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219 跟踪;不能用查询归约阶段的结果代替默认端到端成本,也不在本 issue 新增一条独立功能路线。
因此此次更新不关闭 #218;后续验收应针对以上边界说明或实现逐项判断,不再重复修复已经解决的默认六模板和 >ATTACH 规模路径。
原始问题记录(保留历史描述)
父 issue:#217
问题
全局模板把单个 device 涉及的所有分片行全部取到 Python 再计算,而工作预算硬编码为 10 万行 / 64 MiB,超出即整个查询失败。
- 位置:
dataset_global.py:71-78(_tracesSELECT *全范围)、:81-96、:149-177、:180-188;dataset_sources.py:63-88;dataset_support.py:26-27 - 导出时建的 metric 索引(
msinsight_export.py:143)查询路径未使用
复现
- 12 万事件 / 2 分片:
memory_peak、event --limit 5、allocation、callstack_analysis、block、leak_detection全部work budget exceeded - 25 万事件单分片 +
slice_index=0的memory_peak也失败;而 msinsight 默认每分片 50 万事件(msinsight_export.py:38)
建议
- 计算下推到每分片 SQL 再合并:
- 峰值:每分片
MAX+MIN(id)(保持同值取最早 ID 规则) - 栈统计:每分片
GROUP BY callstack后合并求和 - event / allocation:每分片
ORDER BY … LIMIT offset+limit后多路归并 - block:SQL 按生命周期 id 去重
- 峰值:每分片
- 预算只计实际输出与源行,并做成可配置
验收
- 默认导出规模(每分片 50 万事件、多分片)下上述模板均可完成
- 分片 vs 单 DB 差分结果保持一致
Metadata
Metadata
Assignees
Labels
No labels
Activity
codeasier commentedon Oct 10, 2026
已在 2026-10-10 对 main
7c33464906aced190698452ebb3a8de8e8e9ab05完成源码安装后的复现,H1 确认成立。环境:Linux x86_64 / Python 3.12.14 / SQLite 3.53.1;独立 venv 执行
python -m pip install ./repo,安装版本0.4.0.post1.dev31,运行导入来自venv/lib/python3.12/site-packages/pt_snap_cli。无源码补丁、无全局 Python 修改。数据为脚本生成的 v1 SQLite,不读取 pickle;各片只有窗口内事件及窗口中新分配/跨入的真实存活 block(本例全部 allocation 持续存活)。复现命令(以下路径按复现脚本的工作目录组织):
实测:
memory_peak、event(limit=5)、allocation、callstack_analysis(min_count=1)、block、leak_detection全部预算失败。累计读取在 100,192 行越界,serialized bytes 为 13,397,419–16,110,250,证明不是 64 MiB 先触发。服务耗时 1.21–1.31 秒;未插桩 CLI 的前两项也 exit 1 / QUERY_FAILED。slice_index=0的memory_peak:100,096 行 / 16,094,602 bytes 时失败,1.43 秒。memory_peak也失败。memory_peak成功(0.093 秒);这只证明成员范围能查询,不能替代跨片全局结果。把数据集查询缩至 9,999 事件也成功,总耗时仍为 6.66 秒,主要受整集前置检查影响,另见 [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219。行/byte 由原始
QueryBudget记录(仅传入默认预算对象,不修改 consume 或上限);预算含输出且按 batch 检查,所以失败点不是精确 100,001。时间是本机单次测量,不作为跨机器性能承诺;RSS 不是 serialized byte budget。建议修复:优先把 peak 聚合下推 SQLite,并保留每项 metric 独立峰值及同值最早 ID;event/allocation 把过滤、稳定排序及每片
offset+limit(+1)候选选择下推后全局归并;callstack 聚合先以全局栈身份合并,不能直接相加平均数;block/leak 仍须按已证明 lifecycle 身份处理跨片重复观察,不能以 address 粗暴去重。预算应继续保护实际读取/物化,暴露配置及分阶段指标;不要仅取消保护或改成“只数最终输出”。索引是否有益需对实际 SQL 做 EXPLAIN,不能只因存在 metric 索引就认定已利用。验收:500k/片至少两片的上述六类安装包 CLI/API 测试;与单 DB 差分(ties、NULL、地址复用、offset、LIMIT、exact_total、源事件跨片);限制内成功及超限明确失败都覆盖。原始结果见
h13/results120k.jsonl、results250k.jsonl、results1m.jsonl、cli-results.jsonl。可直接保存为 h13/repro.py 的独立生成/测量脚本
固定版本因果路径:全局 SELECT * 与 peak循环、累计读取预算。
fix: push bounded dataset-global queries into SQLite (#218) (#228)
test: validate realistic and default-scale dataset queries (#223) (#229)
codeasier commentedon Oct 11, 2026
2026-10-11 最终验收:#233 已合入
39fefd1dad820f3262604f0dc9fb9bf9811a248a,合并后 main CI 全部通过。按已确认的有界查询/资源契约关闭为 completed,完整验收说明已置于正文顶部,历史记录保留。实际读取与输出预算、scratch 非总磁盘/RSS 限额、强杀清理不保证等边界继续适用。