Skip to content

分片数据集全局查询在默认导出规模下不可用(work budget exceeded) #217

Closed
6 of 6 issues completed

Description

@codeasier

最终验收状态(2026-10-11 UTC):有限范围汇总完成

本汇总项按已确认的范围关闭为 completed。本节取代下方历史正文中的“保持开放”和“尚未闭环”状态;历史问题、复现和分阶段记录完整保留。

#197 的固定版本真实 GUI 验收独立继续,不作为本项关闭条件。本次关闭不表示 live capture、上游 producer 或 GUI 已验收,也不新增这些路线。


现状更新(2026-10-11 UTC)

本 issue 保持开放,作为 #218 / #219 剩余范围的总跟踪。下方原始问题与历史评论保留用于追溯;其中“默认规模六模板全部失败”“修复 PR 均未合并”“超过 ATTACH 上限仍必然回退旧算法”等描述是旧版本状态,不再代表当前 main。

已完成并合入

保留范围

  1. [H1] 全局查询全量取行到 Python,被硬编码工作预算卡死 #218:高基数堆栈、大 offset、无界输出及 ordered-frame 回源仍受 fetched/output 行数与 serialized-byte 预算约束。scratch 默认 512 MiB 仅限制派生 main 数据库页,journal/sort/temp 与 RSS 另有开销;异常进程终止的清理仍不保证。需要继续界定这些边界,而非取消保护或承诺任意规模必过。
  2. [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219:默认 warm 命中仍完整哈希全部成员,复杂度为 O(bytes + shards);新 CLI 进程仍 cold。完整内容验证、冷启动成本与缓存/快照契约仍待跟进,不能把元数据签名当作无条件完整性证明或原子快照。
  3. feat: bound many-shard lifecycle queries with private scratch storage #231 的 6M 事件 / 12×500k 及 39M 观察实验和最终合入证据已完成;查询实验使用 300s deadline,冷 inspect 另计,整进程 RSS 含验证阶段。这些是指定环境、夹具的观测,不是通用延时、内存或默认端到端保证。

本总 issue 的收尾依赖 #218 / #219 的具体剩余项;本次只同步状态,不新增独立功能或扩大 roadmap。离线验收不等于 live capture、上游 msinsight producer 或 GUI 验收。


原始问题记录(保留历史描述)

概要

审阅了分片互操作相关实现(#198–#205)。合并语义正确:用随机差分(200 个种子 × 20 种查询形态,分片结果 vs 单 DB 结果)验证,0 处不一致;全量 pytest 1927 passed,ruff / black / basedpyright(0 errors)通过。

但全局查询在真实规模数据上基本不可用:按 msinsight 默认导出参数(每分片 50 万事件,msinsight_export.py:38),连单分片 memory_peak 也会报 work budget exceeded。

高优先级(均已用脚本复现)

H1 全局模板全量取行到 Python,被硬编码预算卡死

  • 位置:dataset_global.py:71-78(_traces SELECT * 全范围)、:81-96、:149-177、:180-188;dataset_sources.py:63-88;dataset_support.py:26-27(10 万行 / 64 MiB)
  • 复现:12 万事件 / 2 分片,memory_peak、event --limit 5、allocation、callstack_analysis、block、leak_detection 全部 work budget exceeded;25 万事件单分片 + slice_index=0 的 memory_peak 也失败
  • 预算不可配置;导出时建的 metric 索引(msinsight_export.py:143)查询路径未使用
  • 建议:计算下推到每分片 SQL 再合并(峰值用 MAX + MIN(id);栈统计每分片 GROUP BY callstack 后求和;event/allocation 每分片 ORDER BY … LIMIT offset+limit 后多路归并;block 用 SQL 按 id 去重);预算只计输出与源行,并可配置

H2 每次查询(含 tab 补全)都完整校验并哈希整个数据集

  • 位置:query_service.py:236、dataset_resolver.py:153-167、dataset_contract.py:418-454(逐行 Python 循环 + 全量 identities 字典)、completion.py:78-82
  • 复现:100 万事件 / 100 万 block,inspect 约 5.0s、RSS 约 300 MB;timeout_s=2 的查询实际 5.4s 才超时(校验阶段不可中断);report peak-memory 调用 3 次 inspect
  • 读代码推测:native 每分片哈希两次(native_dataset_contract.py:313 与 resolver),另有 PRAGMA quick_check 和全事件 ID set(:316)
  • 建议:按 (inode, size, mtime_ns, manifest hash) 缓存校验结果;查询时只做 schema + COUNT/MIN/MAX 轻量检查;逐行生命周期检查移到 import 或独立 validate 命令;补全路径不做完整校验

H3 v1 _traces 的 SELECT * 拉取 inline callstack 文本

  • 复现:栈长 8 KB 时,1 万事件 memory_peak 即超出 64 MiB 字节预算(4000 事件可通过)
  • 建议:只取需要的列(id, allocated, active, reserved,event 模板再加所需列)

H4 report 对同一范围扫描两遍并共享预算

  • 位置:report_service.py:89-140,memory_peak 与 allocator_gap 扫同一范围,后者结果已包含前者
  • 复现:6 万事件时单独 memory_peak 成功,peak_memory_report 失败
  • 建议:只跑 allocator_gap,峰值从其结果取;inspect 只做一次(同时避免多次 inspect 间 fingerprint 变化导致数据版本不一致)

H5 重复取数使有效预算减半

  • dataset_global.py:287-291:callstack_analysis 先 _traces 再 sources.events() 按批重取同一批事件;6 万事件即失败(同规模 memory_peak 成功)。_events 在 order_by=callstack 时同样重复取数
  • dataset_attribution.py:28-41:active_*_at_event 活跃 block 与其源事件都计入预算,约 5 万活跃 block 失败(3 万可通过)

中 / 低优先级

  • 测试夹具不真实:tests/core/test_dataset_attribution.py:33-53 的 case() 给 8 个分片塞同一张 block 表(后续分片才分配的 block 也出现在第 0 片),测不出"归属分片找漏 block"类错误。建议加入真实布局的随机差分属性测试
  • 缺少规模测试:没有超出预算规模的测试;docs/dataset-performance-baseline.json 只用 581 KB 夹具;文档未说明默认导出规模下查询会失败
  • (读代码推测)dataset 版 leak_detection 要求最后分片 state in (0,1)(dataset_global.py:258-260),standalone SQL 无此条件;出现 state=-1 且 free=-1 时两者结果不一致
  • (读代码推测)unproved 身份包含分片号(dataset_global.py:210),同一 block 会按分片各出一行
  • (读代码推测)msinsight_export.py:92-110 将一个 device 全部事件 ID 放入 Python list 校验,内存随事件数线性增长;可改为每分片 SQL COUNT/MIN/MAX
  • 预算超限报错有时带 Query execution failed: 前缀、有时不带,取决于抛出层级

建议优先级

先处理 H1–H4(SQL 下推、只取所需列、缓存校验结果、去掉 report 重复扫描、预算可配置),再补真实布局属性测试和规模测试。

Activity

  1. codeasier commented on Oct 10, 2026

    @codeasier
    OwnerAuthor

    2026-10-10 源码安装后的复核汇总:H1–H4 的主要现象已复现;H5 需把“真正重复读取”与“读取不同 block/source 记录的累计成本”分开。测试未修改产品代码、未推送修复,也未执行不可信 pickle。

    基准:main 7c33464906aced190698452ebb3a8de8e8e9ab05;Linux x86_64、Python 3.12.14、SQLite 3.53.1;安装版本 0.4.0.post1.dev31。执行的是独立 venv 中非 editable 安装包及真实 console script,不是只测替换后的 helper:

    git clone https://github.com/codeasier/pt-snap-cli.git repo
    git -C repo checkout 7c33464906aced190698452ebb3a8de8e8e9ab05
    python3.12 -m venv venv
    venv/bin/python -m pip install ./repo

    各子 issue 评论附本次命令/生成脚本与证据。SQLite 夹具是自行构造的 validator-accepted v1/v2 格式;其中 #218/#223 的成员布局按生命周期窗口组织,#219 的额外四片哈希计数夹具未补齐仍存活 block 的 carry-in,只用于检查调用量,不声称 exporter-faithful。没有把“合成数据库验证”称为真实 msinsight 生产采集/import 端到端验证。计时为本机观测,RSS 与预算 serialized bytes 是不同指标。

    已复现

    测试与原文需要收窄的表述

    • [测试] 分片夹具布局不真实,缺少属性测试和超预算规模测试 #223:原case确实把未来才分配的block提前放进第0片;基线pickle仅581,140 bytes。但是现有套件有人为调低row/byte上限的预算测试,文档也有100000行/64MiB说明;真正缺少默认上限以上、500k/片规模测试,以及明确连接默认导出容量与查询失败后果的用户提示。
    • 本次以真实成员布局完成200种子×20查询形态:3998/4000严格一致;2种形态仅百分比四位小数出现0.0001个百分点差异,其余字段/集合/字节一致。已最小化为Python round与SQLite ROUND的中点舍入差异,见#223评论。不能复述历史“0不一致”作为本次结果。
    • state=-1且free=-1:已用schema-valid合成数据复现dataset leak与standalone差异,但未证明真实replay能产出该组合;应先明确状态契约再决定修复。
    • unproved跨片多行:schema-valid反例可复现,但这是已有文档/测试覆盖的保守身份语义,不能仅凭相同address或未证明alloc引用就认定应合并。
    • exporter全设备ID list的线性内存成本目前是源码证据,本次没有做真实导出进程峰值测量。

    建议落地顺序

    1. 先做窄列投影和去掉report重复峰值扫描,保留同一数据版本/预算/timeout契约。
    2. SQL下推peak、过滤分页、栈分组;保留稳定排序、全局栈身份、跨片已证明lifecycle去重,以及明确的内存/读取保护,不能只取消预算。
    3. 让inspect参与统一deadline;在明确finalized/不可变条件及失效策略下复用已验证fingerprint,完整验证迁到明确的导入/validate边界时保留完整性语义。
    4. 把真实布局差分、500k/片多片安装包CLI/API、长栈、report、缓存失效/超时和来源去重测试纳入门禁;统一百分比舍入规则。

    以上为复现及修复建议,不是已完成修复或全套pytest通过的声明。

  2. codeasier commented on Oct 10, 2026

    @codeasier
    OwnerAuthor

    修复 PR 与验收汇总(2026-10-10)

    已逐项提交草稿 PR,均未合并:

    依赖顺序:#224 → #225 → #228;#224 + #226 → #227;#228 + #227 → #229。为运行仓库面向 main 的 CI,各 PR 暂以 main 为目标,依赖变更因此出现在累计差异中;先审阅/合并依赖,再复核后续差异。

    六个 PR 当前提交均通过完整 CI:

    最终集成证据

    源码 tree 555eba3ca0a94690fd477392336f832985dec08b:本地 2048 passed、1 skipped(安装 wheel 验收另跑);安装 wheel 的 200 seeds × 20 查询形式全部 4000/4000 严格一致;可信生成 500002 事件,经实际 importer 和默认 500000 容量 exporter 后,对 500000 + 2 两片运行安装后的 CLI/API/report 验收通过。原两个各 500k 事件分片的六类有界查询在默认预算下通过。未通过放宽预算或数值容差获得这些结果。

    尚未闭环的范围

    1. [H1] 全局查询全量取行到 Python,被硬编码工作预算卡死 #218:超过 SQLite ATTACH 上限(本环境 10)的生命周期查询仍回退受预算约束的旧路径。不能通过简单分批求和/top-k 安全替代全局生命周期证明、冲突检测与最新状态归并。后续应单独设计 manifest 证明的导出期全局生命周期索引,或有磁盘限额、取消与清理保障的临时 SQLite 协调层;需保留 read-only 输入和身份契约。高基数堆栈、无限输出、大 offset 及 ordered-frame 回源仍可能合理触发预算。
    2. [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219:默认强完整性模式保留完整内容验证成本。热缓存仅在显式 PT_SNAP_DATASET_CACHE=immutable、调用者保证不可变发布及可靠变化时间语义时启用;不承诺并发写入快照安全。不把元数据签名当作无条件内容完整性证明。
    3. 本次 E2E 不等于 live capture 或上游 GUI 验收。

    因此 #217、#218、#219 保持开放跟踪这些具体剩余项;其余关闭关联仅在相应 PR 实际合并时生效。

  3. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    2026-10-11 汇总收尾:#233 已合入 39fefd1dad820f3262604f0dc9fb9bf9811a248a,main CI 全部通过。#218、#219 已按确认的有限验收契约关闭,连同已完成的 #220/#221/#222/#223,本汇总项关闭为 completed。完整边界与证据在正文顶部,历史记录保留。#197 独立继续,其真实 GUI 验收不作为本项关闭条件。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions