Skip to content

[H5] callstack_analysis / active_*_at_event 重复取数,有效预算减半 #222

Closed

Description

@codeasier

父 issue:#217

问题

  • dataset_global.py:287-291:callstack_analysis 先用 _traces 取一遍,再通过 sources.events() 按批重取同一批事件,等于预算减半。_events 在 order_by=callstack 时也有同样的重复取数
  • dataset_attribution.py:28-41:active_*_at_event 中每个活跃 block 自身占一行,它引用的源事件也计入预算

复现

  • 6 万事件 callstack_analysis 失败,同规模 memory_peak 成功
  • 约 5 万活跃 block 时 active_*_at_event 失败(3 万可通过);v1 长栈下 64 MiB 大约只够几千个 block(推算)

建议

  • 在同一次扫描中取得所需列,去掉二次重取
  • 栈分组下推到每分片 SQL(与 H1 一起做)
  • 源事件只按去重后的实际读取量计入预算

验收

  • callstack_analysis 与 memory_peak 在同等规模下都能完成

Activity

  1. codeasier commented on Oct 10, 2026

    @codeasier
    OwnerAuthor

    复核结论:callstack_analysis 与 event(order_by=callstack) 的重复读取已确认;active_*_at_event 的容量现象也确认,但原因需要更精确表述:block 行与其不同的源事件大多是实际不同记录,不能全部记成“重复取同一事件”。

    验证环境:main 固定在 7c33464906aced190698452ebb3a8de8e8e9ab05,Python 3.12.14 / SQLite 3.53.1,源码非 editable 安装,实际导入来自 venv 的 site-packages/pt_snap_cli(版本 0.4.0.post1.dev31)。未改产品代码,未执行 pickle,未改默认预算。下述输入是 compatibility-v1 合成 SQLite,30,000 事件/片,只将生命周期与该分片相交的 block 写入该片;不是把全量 block 填到每片。

    复现安装(独立检出,后续命令使用该环境):

    git clone https://github.com/codeasier/pt-snap-cli.git pt-snap-h45
    cd pt-snap-h45
    git checkout 7c33464906aced190698452ebb3a8de8e8e9ab05
    python3.12 -m venv .venv
    .venv/bin/python -m pip install .
    . .venv/bin/activate

    把以下纯标准库脚本保存为 repro_h45.py。目标目录必须尚不存在:

    # 纯标准库合成SQLite;没有pickle;block只写入其生命周期相交的分片。
    import json, sqlite3, sys
    from contextlib import closing
    from pathlib import Path
    root, n = Path(sys.argv[1]).absolute(), int(sys.argv[2])
    kind = sys.argv[3] if len(sys.argv)>3 else 'cycle'
    width = int(sys.argv[4]) if len(sys.argv)>4 else 0
    text = 'f'*width if width else 'frame: workload.py:42:run'
    root.mkdir(parents=True); (root/'device_0').mkdir()
    actions=('segment_map','segment_unmap','segment_alloc','segment_free','alloc','free_requested','free_completed','workspace_snapshot')
    blocks=[(i,1048576+64*i,64,64,1,i, i+2 if kind=='cycle' and i+2<n else -1) for i in range(0,n,3 if kind=='cycle' else 1)]
    records=[]
    for index,start in enumerate(range(0,n,30000)):
        end=min(start+29999,n-1);file=f'device_0/slice_{index:05d}.db'
        records.append(dict(index=index,startEventId=start,endEventId=end,file=file,ready=True))
        with closing(sqlite3.connect(root/file)) as c,c:
            c.executescript('CREATE TABLE dictionary ("table" TEXT,"column" TEXT,"key" TEXT,"value" TEXT); CREATE TABLE trace_entry_0(id INTEGER PRIMARY KEY,action INTEGER,address INTEGER,size INTEGER,stream INTEGER,allocated INTEGER,active INTEGER,reserved INTEGER,callstack TEXT); CREATE TABLE block_0(id INTEGER PRIMARY KEY,address INTEGER,size INTEGER,requestedSize INTEGER,state INTEGER,allocEventId INTEGER,freeEventId INTEGER);')
            c.executemany('INSERT INTO dictionary VALUES (?,?,?,?)',[('trace_entry_0','action',str(k),v) for k,v in enumerate(actions)]+[('block_0','state',str(k),v) for k,v in [(-1,'inactive'),(0,'active_pending_free'),(1,'active_allocated')]])
            for i in range(start,end+1):
                phase=i%3
                row=(i,(4,5,6)[phase],1048576+64*(i-phase),64,0,64 if phase==0 else 0,64 if phase<2 else 0,128,text) if kind=='cycle' else (i,4,1048576+64*i,64,0,64*(i+1),64*(i+1),64*n,text)
                c.execute('INSERT INTO trace_entry_0 VALUES (?,?,?,?,?,?,?,?,?)',row)
            live=[b[:4]+((-1 if 0<=b[6]<=end else 0 if (kind=='cycle' and b[5]+1<=end) or (b[6]>end and b[6]-1<=end) else 1),)+b[5:] for b in blocks if b[5]<=end and (b[6]<0 or b[6]>=start)]
            c.executemany('INSERT INTO block_0 VALUES (?,?,?,?,?,?,?)',live)
    (root/'manifest.json').write_text(json.dumps(dict(schemaVersion=1,status='complete',sourceFile='/synthetic/no-pickle-used',cacheHash='',eventsPerSlice=30000,devices={'0':dict(eventCount=n,sliceCount=len(records),readySlices=list(range(len(records))),slices=records)})))

    运行(失败命令退出1并在stderr输出JSON QUERY_FAILED):

    python repro_h45.py /tmp/pt-snap-h5-cycle60k 60000 cycle
    pt-snap query /tmp/pt-snap-h5-cycle60k --template-use memory_peak --json
    pt-snap query /tmp/pt-snap-h5-cycle60k --template-use callstack_analysis --json
    pt-snap query /tmp/pt-snap-h5-cycle60k --template-use event --params '{"order_by":"id","limit":1}' --json
    pt-snap query /tmp/pt-snap-h5-cycle60k --template-use event --params '{"order_by":"callstack","limit":1}' --json
    for n in 30000 49999 50000; do
      python repro_h45.py /tmp/pt-snap-h5-active$n $n active
      pt-snap query /tmp/pt-snap-h5-active$n --template-use active_blocks_at_event --params '{"event_id":'"$((n-1))"',"limit":1}'  --json
      pt-snap query /tmp/pt-snap-h5-active$n --template-use active_memory_callstack_at_event --params '{"event_id":'"$((n-1))"',"top_n":1}'  --json
    done
    for n in 3000 5000; do
      python repro_h45.py /tmp/pt-snap-h5-long$n $n active 16384
      pt-snap query /tmp/pt-snap-h5-long$n --template-use active_memory_callstack_at_event --params '{"event_id":'"$((n-1))"',"top_n":1}'  --json
    done

    包装原始 consume / DatasetSourceResolver.read/events 只计数,不改变SQL、数据、预算或异常;所有主要现象另有无插桩运行时及真正console入口验证。

    输入与查询 结果 实际预算行数(包括输出) 观察
    60k事件 memory_peak 成功 60,001 trace一次
    60k事件 callstack_analysis 失败 100,240 trace 60,000 + 重取同批事件40,240后失败
    49,999事件 callstack_analysis 成功 99,999 49,999 trace + 49,999相同源事件 + 1输出
    50,000事件 callstack_analysis 失败 100,001 最后1行聚合输出触发越界
    60k事件 event,id排序,limit=1 成功 60,002 trace60k + 页内源1 + 输出1
    60k事件 event,callstack排序,limit=1 失败 100,240 limit=1不能避免排序前全量重取
    49,999事件 event,callstack排序,limit=1 成功 100,000 全量重复源49,999,页内又取1次,最后输出1
    30k活跃block,两个active查询均仅输出1行 成功 60,002 block30k + source30,001 + 输出1
    49,999活跃block,两个active查询均仅输出1行 成功 100,000 恰好等于阈值
    50k活跃block,两个active查询均仅输出1行 失败 100,001 block50k + source50,001,尚无输出

    上表49,999/50,000的callstack边界可把第一个生成命令的60000改为对应数量;active边界不是所有查询通用阈值,输出行数、未来free引用和文本大小都会改变它。

    关键限定:

    • 在50k活跃block样本中,50,001个源事件读取里只有1行重复,因为 target(event_id) 先验证最后的alloc事件,然后 events() 再取allocation refs;其余50k block和50k allocation event是不同记录。events() 已使用 sorted(set(event_ids)),单次调用已去重,不能把计数越界直接当成“没有去重”。
    • 另外构造“先分配N个block,事件N做workspace_snapshot,然后逐个free_requested/free_completed”的合法生命周期补测:N=30,000时目标仍有N个活跃block,读取60,000个不同alloc/free引用,无重复,预算90,002行通过;N=33,333时预算100,001行失败,重复源事件仍为0。每片也只存生命周期相交的block。因而即使完美消除重复,合法源事件成本仍存在。
    • 长栈已从推算变成实验:每个v1 callstack为16,384 ASCII字节,同栈分成1组。3,000活跃block成功(6,002行 / 49,970,797字节);5,000活跃block失败时只读了9,097行 / 68,306,612字节,明确先碰64 MiB,尚未读到重复target行。stack_bytes 是事后显示摘要,不能用它承诺降低原始读取成本。64 MiB指JSON序列化工作值,不是RSS。

    无插桩运行时单次样本:60k memory_peak 0.390秒 / 54,484 KiB RSS;callstack_analysis 0.731秒 / 78,012 KiB;30k active分组0.594秒 / 84,676 KiB;50k active分组失败0.915秒 / 94,708 KiB。真实CLI验证相同成败,错误代码均为QUERY_FAILED。共享机器单次样本不作为速度提升结论。

    固定提交定位:callstack全量重取、callstack排序前取源、返回页又取源、active读取block和allocation/free引用、events内已有去重、预算计数含重复读取。

    建议修复/回归:

    1. callstack扫描直接携带所需文本/身份列,v2可同遍join本地callstack;复用已解析EventSource,避免同一范围第二遍读取与页内第三次读取。下推分片聚合时保持全动作计数、full-text/ordered-frame身份、跨片加权均值及全局阈值/top排序语义。
    2. active先去掉target的重复单行;然后分别优化block投影、归因所需源数据/分组下推。若分组查询仍要求free引用覆盖,明确其成本;如果调整公共coverage语义要单独给合同测试。不要只停止对真实已读取source计费。
    3. 回归覆盖60k memory_peak/callstack同时通过、callstack排序limit=1不重新读取相同事件、49,999/50k边界、3k/5k长栈、同一callstack的不同事件不可错误合并、不同生命周期的未来free引用、缺失/空字符串/字面“missing”栈、跨片局部v2 ID冲突及ordered frames。保留真正超预算的硬失败,确保无部分全局结论。

    输入是合成生命周期,不宣称由真实捕获replay生成;50,000事件cycle末尾pending观察已校正并重跑,100,001行失败结论不变。

    范围:实测compatibility-v1;native-v2与ordered-frame修复项是应补的回归,不是本次已完成的覆盖。所有被测SQLite/manifest运行前后哈希相同,无WAL/SHM/journal生成。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions