Skip to content

[H1] 全局查询全量取行到 Python,被硬编码工作预算卡死 #218

Closed

Description

@codeasier

最终验收状态(2026-10-11 UTC):按确认范围完成

本 issue 按已确认的有限验收范围关闭为 completed。以下最终状态取代历史正文中“仍保持开放”的状态说明;原始问题、旧状态和复现证据完整保留,便于追溯。


现状更新(2026-10-11 UTC)

本 issue 保持开放,跟踪下列剩余预算与资源边界。原文和早期复现评论保留为历史证据;“默认每片 500k 时六模板全部失败”和“超过 ATTACH 上限必然回退旧算法”已被后续合入修正,不再作为当前 main 的结论。

已合入与验证

  • fix: push bounded dataset-global queries into SQLite (#218) #228 已合入(c11a3abcfc8125cd81ff3150c7202146392c6318):峰值 SQL 聚合、event/allocation 候选分页、全局栈聚合以及 ATTACH 内的生命周期证明/归并。两个各 500k 事件分片的 memory_peak、event、allocation、callstack_analysis、block、leak_detection 六类有界查询在默认预算下通过;取回/输出仅 3–22 行不表示 SQLite 只处理这些行。
  • test: validate realistic and default-scale dataset queries (#223) #229 已合入:默认规模与真实生命周期回归、非 editable wheel 的 500002 事件(500000 + 2 分片)第一方 importer→exporter→CLI/API 验收;扩展 200 seeds × 20 shapes 严格差分 4000/4000 exact。
  • feat: bound many-shard lifecycle queries with private scratch storage #231 已合入(c467aee329e7c7e63f18eb2ff1ebd0158c47770b):超过实际 ATTACH 上限时采用一次查询私有的磁盘 SQLite 窄表归约,源成员逐个只读挂载,在过滤/分页前完成证明、冲突检测和生命周期归并;原 <=cap 快路径保留。最终合入记录确认合入树与冻结验收树一致。
  • #231 最终验收和规模记录:2198 passed / 2 intentional skips;840 例同树独立语义差分通过。12×500k 事件的短生命周期样本(3M lifecycles)三个模板 16.2–17.4s、派生 DB 226820096 B;6M 持续存活生命周期 / 39M 观察样本中 block、leak、lifetime 查询通过,派生 DB 351571968 B。查询实验 deadline 为 300s,冷 inspect 另计(重样本 239.34s);约 1.76 GiB 峰值 RSS 属于含验证阶段的整进程观测。以上不是跨环境性能或默认端到端耗时保证。

仍需保留的范围

  • 高基数堆栈、大 offset、无界输出、ordered-frame 回源仍可能触发 fetched/output 行数及 serialized-byte 预算;保留实际读取/物化与输出保护,不改成只统计最终输出。
  • 默认 max_scratch_db_bytes=512 MiB 仅为派生 main 数据库页限额,不能称为总临时磁盘或 RSS 硬上限;journal、sort/temp 及其他内存仍有额外开销。更大数据仍可能正确地预算失败;设为 0 禁用新路径时保留受预算约束的 fallback。
  • 正常取消、timeout、FULL/I/O 失败的清理与源 hash 不变已有验证;异常进程终止/崩溃后的临时数据清理仍不保证。
  • 全集前置完整验证和新 CLI 进程的 cold 成本由 [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219 跟踪;不能用查询归约阶段的结果代替默认端到端成本,也不在本 issue 新增一条独立功能路线。

因此此次更新不关闭 #218;后续验收应针对以上边界说明或实现逐项判断,不再重复修复已经解决的默认六模板和 >ATTACH 规模路径。


原始问题记录(保留历史描述)

父 issue:#217

问题

全局模板把单个 device 涉及的所有分片行全部取到 Python 再计算,而工作预算硬编码为 10 万行 / 64 MiB,超出即整个查询失败。

  • 位置:dataset_global.py:71-78(_traces SELECT * 全范围)、:81-96、:149-177、:180-188;dataset_sources.py:63-88;dataset_support.py:26-27
  • 导出时建的 metric 索引(msinsight_export.py:143)查询路径未使用

复现

  • 12 万事件 / 2 分片:memory_peak、event --limit 5、allocation、callstack_analysis、block、leak_detection 全部 work budget exceeded
  • 25 万事件单分片 + slice_index=0 的 memory_peak 也失败;而 msinsight 默认每分片 50 万事件(msinsight_export.py:38)

建议

  • 计算下推到每分片 SQL 再合并:
    • 峰值:每分片 MAX + MIN(id)(保持同值取最早 ID 规则)
    • 栈统计:每分片 GROUP BY callstack 后合并求和
    • event / allocation:每分片 ORDER BY … LIMIT offset+limit 后多路归并
    • block:SQL 按生命周期 id 去重
  • 预算只计实际输出与源行,并做成可配置

验收

  • 默认导出规模(每分片 50 万事件、多分片)下上述模板均可完成
  • 分片 vs 单 DB 差分结果保持一致

Activity

  1. codeasier commented on Oct 10, 2026

    @codeasier
    OwnerAuthor

    已在 2026-10-10 对 main 7c33464906aced190698452ebb3a8de8e8e9ab05 完成源码安装后的复现,H1 确认成立。

    环境:Linux x86_64 / Python 3.12.14 / SQLite 3.53.1;独立 venv 执行 python -m pip install ./repo,安装版本 0.4.0.post1.dev31,运行导入来自 venv/lib/python3.12/site-packages/pt_snap_cli。无源码补丁、无全局 Python 修改。数据为脚本生成的 v1 SQLite,不读取 pickle;各片只有窗口内事件及窗口中新分配/跨入的真实存活 block(本例全部 allocation 持续存活)。

    复现命令(以下路径按复现脚本的工作目录组织):

    git clone https://github.com/codeasier/pt-snap-cli.git repo
    git -C repo checkout 7c33464906aced190698452ebb3a8de8e8e9ab05
    python3.12 -m venv venv
    venv/bin/python -m pip install ./repo
    mkdir -p h13 # 将下方折叠代码保存为 h13/repro.py
    venv/bin/python h13/repro.py make h13/n120k 120000 60000 16
    venv/bin/pt-snap query h13/n120k --template-use memory_peak --json
    venv/bin/pt-snap query h13/n120k --template-use event --params '{"limit":5}' --json
    venv/bin/python h13/repro.py make h13/n1m 1000000 500000 16
    venv/bin/python h13/repro.py run h13/n1m memory_peak '{}'

    实测:

    • 120,000 事件 / 2 片:memory_peak、event(limit=5)、allocation、callstack_analysis(min_count=1)、block、leak_detection 全部预算失败。累计读取在 100,192 行越界,serialized bytes 为 13,397,419–16,110,250,证明不是 64 MiB 先触发。服务耗时 1.21–1.31 秒;未插桩 CLI 的前两项也 exit 1 / QUERY_FAILED。
    • 250,000 事件 / 单片、slice_index=0 的 memory_peak:100,096 行 / 16,094,602 bytes 时失败,1.43 秒。
    • 1,000,000 事件 / 每片 500,000:以上六个模板全部失败,100,096 行即触发;6.29–6.81 秒、进程峰值 RSS 约 294.4 MiB(含 inspect)。未插桩 CLI 的 memory_peak 也失败。
    • 对照:显式选择同一数据集的 500,000 行成员 DB,standalone memory_peak 成功(0.093 秒);这只证明成员范围能查询,不能替代跨片全局结果。把数据集查询缩至 9,999 事件也成功,总耗时仍为 6.66 秒,主要受整集前置检查影响,另见 [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219。

    行/byte 由原始 QueryBudget 记录(仅传入默认预算对象,不修改 consume 或上限);预算含输出且按 batch 检查,所以失败点不是精确 100,001。时间是本机单次测量,不作为跨机器性能承诺;RSS 不是 serialized byte budget。

    建议修复:优先把 peak 聚合下推 SQLite,并保留每项 metric 独立峰值及同值最早 ID;event/allocation 把过滤、稳定排序及每片 offset+limit(+1) 候选选择下推后全局归并;callstack 聚合先以全局栈身份合并,不能直接相加平均数;block/leak 仍须按已证明 lifecycle 身份处理跨片重复观察,不能以 address 粗暴去重。预算应继续保护实际读取/物化,暴露配置及分阶段指标;不要仅取消保护或改成“只数最终输出”。索引是否有益需对实际 SQL 做 EXPLAIN,不能只因存在 metric 索引就认定已利用。

    验收:500k/片至少两片的上述六类安装包 CLI/API 测试;与单 DB 差分(ties、NULL、地址复用、offset、LIMIT、exact_total、源事件跨片);限制内成功及超限明确失败都覆盖。原始结果见 h13/results120k.jsonl、results250k.jsonl、results1m.jsonl、cli-results.jsonl。

    可直接保存为 h13/repro.py 的独立生成/测量脚本
    import json,sqlite3,sys,time,resource,platform
    from pathlib import Path
    from contextlib import closing
    from pt_snap_cli.core.dataset_contract import ACTION_NAMES,BLOCK_STATES
    from pt_snap_cli.core.query_service import QueryService
    from pt_snap_cli.core.dataset_sources import QueryBudget
    import pt_snap_cli
    
    def make(root,n,shard,stacklen=16):
     root=Path(root)
     if (root/'manifest.json').exists():return
     root.mkdir(parents=True,exist_ok=True);(root/'device_0').mkdir(exist_ok=True)
     rec=[]
     for index,lo in enumerate(range(0,n,shard)):
      hi=min(n,lo+shard)-1;file=f'device_0/slice_{index:05d}.db'
      with closing(sqlite3.connect(root/file)) as c,c:
       c.executescript('CREATE TABLE dictionary ("table" TEXT,"column" TEXT,"key" TEXT,"value" TEXT); CREATE TABLE trace_entry_0 (id INTEGER PRIMARY KEY,action INTEGER,address INTEGER,size INTEGER,stream INTEGER,allocated INTEGER,active INTEGER,reserved INTEGER,callstack TEXT);CREATE TABLE block_0 (id INTEGER PRIMARY KEY,address INTEGER,size INTEGER,requestedSize INTEGER,state INTEGER,allocEventId INTEGER,freeEventId INTEGER);')
       c.executemany('INSERT INTO dictionary VALUES(?,?,?,?)', [('trace_entry_0','action',str(k),v) for k,v in enumerate(ACTION_NAMES)]+[('block_0','state',str(k),v) for k,v in BLOCK_STATES])
       c.executemany('INSERT INTO trace_entry_0 VALUES(?,4,?,8,0,?,?,?,?)',((i,4096+i*8,(i+1)*8,(i+1)*8,(i+1)*16,'x'*stacklen) for i in range(lo,hi+1)))
       # All allocations remain live: preceding blocks legitimately cross into later windows.
       c.executemany('INSERT INTO block_0 VALUES(?,?,8,8,1,?,-1)',((i,4096+i*8,i) for i in range(hi+1)))
       c.execute('CREATE INDEX idx_trace_metrics ON trace_entry_0(allocated,active,reserved)')
      rec.append(dict(index=index,startEventId=lo,endEventId=hi,file=file,ready=True))
     (root/'manifest.json').write_text(json.dumps(dict(schemaVersion=1,status='complete',sourceFile='/synthetic/no-pickle',cacheHash='',eventsPerSlice=shard,devices={'0':dict(eventCount=n,sliceCount=len(rec),readySlices=list(range(len(rec))),slices=rec)})))
    
    if __name__=='__main__':
     mode=sys.argv[1]
     if mode=='make':
      make(sys.argv[2],int(sys.argv[3]),int(sys.argv[4]),int(sys.argv[5]));print('created',sys.argv[2])
     else:
      root=Path(sys.argv[2]).absolute();template=sys.argv[3];params=json.loads(sys.argv[4]);slice_index=int(sys.argv[5]) if len(sys.argv)>5 else None
      b=QueryBudget(None,time.monotonic());s=QueryService();t=time.monotonic()
      try:
       result=s.execute_query(template,params=params,db_path=root,slice_index=slice_index,_budget=b)
       out=dict(status='ok',returned=result.returned,rows=result.rows[:1])
      except Exception as e:out=dict(status='error',error=type(e).__name__,message=str(e))
      finally:s.close()
      out.update(template=template,params=params,slice_index=slice_index,elapsed_s=round(time.monotonic()-t,6),work_rows=b.work_rows,work_bytes=b.work_bytes,maxrss_kib=resource.getrusage(resource.RUSAGE_SELF).ru_maxrss,python=sys.version.split()[0],platform=platform.platform(),installed_module=pt_snap_cli.__file__)
      print(json.dumps(out))

    固定版本因果路径:全局 SELECT * 与 peak循环、累计读取预算。

  2. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    2026-10-11 最终验收:#233 已合入 39fefd1dad820f3262604f0dc9fb9bf9811a248a,合并后 main CI 全部通过。按已确认的有界查询/资源契约关闭为 completed,完整验收说明已置于正文顶部,历史记录保留。实际读取与输出预算、scratch 非总磁盘/RSS 限额、强杀清理不保证等边界继续适用。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions