Skip to content

[H4] peak-memory report 对同一范围扫描两遍并共享预算,且重复 inspect #221

Closed

Description

@codeasier

父 issue:#217

问题

report_service.py:89-140 中 memory_peak 和 allocator_gap 扫描同一范围并共用一个预算,而 allocator_gap 的结果已包含峰值信息。另外一次 report 会调用 3 次 inspect。

复现

  • 6 万事件:单独 memory_peak 成功,peak_memory_report 失败(work budget exceeded)

建议

  • 只跑 allocator_gap,峰值从其结果中取
  • 整个 report 只做一次 inspect,并在后续步骤复用同一 fingerprint(避免多次 inspect 之间数据版本变化导致峰值与归因来自不同版本)

验收

  • 单独 memory_peak 能跑通的规模,peak_memory_report 也能跑通
  • 一次 report 只触发一次 inspect

Activity

  1. codeasier commented on Oct 10, 2026

    @codeasier
    OwnerAuthor

    复核结论:#221 在当前 main 已复现;同时需要区分“成功报告 inspect 3 次”和“60k 失败报告只来得及 inspect 2 次”。

    验证环境:main 固定在 7c33464906aced190698452ebb3a8de8e8e9ab05,Python 3.12.14 / SQLite 3.53.1,源码非 editable 安装,实际导入来自 venv 的 site-packages/pt_snap_cli(版本 0.4.0.post1.dev31)。未改产品代码,未执行 pickle,未改默认预算。下述输入是 compatibility-v1 合成 SQLite,30,000 事件/片,只将生命周期与该分片相交的 block 写入该片;不是把全量 block 填到每片。

    复现安装(独立检出,后续命令使用该环境):

    git clone https://github.com/codeasier/pt-snap-cli.git pt-snap-h45
    cd pt-snap-h45
    git checkout 7c33464906aced190698452ebb3a8de8e8e9ab05
    python3.12 -m venv .venv
    .venv/bin/python -m pip install .
    . .venv/bin/activate

    把以下纯标准库脚本保存为 repro_h45.py。目标目录必须尚不存在:

    # 纯标准库合成SQLite;没有pickle;block只写入其生命周期相交的分片。
    import json, sqlite3, sys
    from contextlib import closing
    from pathlib import Path
    root, n = Path(sys.argv[1]).absolute(), int(sys.argv[2])
    kind = sys.argv[3] if len(sys.argv)>3 else 'cycle'
    width = int(sys.argv[4]) if len(sys.argv)>4 else 0
    text = 'f'*width if width else 'frame: workload.py:42:run'
    root.mkdir(parents=True); (root/'device_0').mkdir()
    actions=('segment_map','segment_unmap','segment_alloc','segment_free','alloc','free_requested','free_completed','workspace_snapshot')
    blocks=[(i,1048576+64*i,64,64,1,i, i+2 if kind=='cycle' and i+2<n else -1) for i in range(0,n,3 if kind=='cycle' else 1)]
    records=[]
    for index,start in enumerate(range(0,n,30000)):
        end=min(start+29999,n-1);file=f'device_0/slice_{index:05d}.db'
        records.append(dict(index=index,startEventId=start,endEventId=end,file=file,ready=True))
        with closing(sqlite3.connect(root/file)) as c,c:
            c.executescript('CREATE TABLE dictionary ("table" TEXT,"column" TEXT,"key" TEXT,"value" TEXT); CREATE TABLE trace_entry_0(id INTEGER PRIMARY KEY,action INTEGER,address INTEGER,size INTEGER,stream INTEGER,allocated INTEGER,active INTEGER,reserved INTEGER,callstack TEXT); CREATE TABLE block_0(id INTEGER PRIMARY KEY,address INTEGER,size INTEGER,requestedSize INTEGER,state INTEGER,allocEventId INTEGER,freeEventId INTEGER);')
            c.executemany('INSERT INTO dictionary VALUES (?,?,?,?)',[('trace_entry_0','action',str(k),v) for k,v in enumerate(actions)]+[('block_0','state',str(k),v) for k,v in [(-1,'inactive'),(0,'active_pending_free'),(1,'active_allocated')]])
            for i in range(start,end+1):
                phase=i%3
                row=(i,(4,5,6)[phase],1048576+64*(i-phase),64,0,64 if phase==0 else 0,64 if phase<2 else 0,128,text) if kind=='cycle' else (i,4,1048576+64*i,64,0,64*(i+1),64*(i+1),64*n,text)
                c.execute('INSERT INTO trace_entry_0 VALUES (?,?,?,?,?,?,?,?,?)',row)
            live=[b[:4]+((-1 if 0<=b[6]<=end else 0 if (kind=='cycle' and b[5]+1<=end) or (b[6]>end and b[6]-1<=end) else 1),)+b[5:] for b in blocks if b[5]<=end and (b[6]<0 or b[6]>=start)]
            c.executemany('INSERT INTO block_0 VALUES (?,?,?,?,?,?,?)',live)
    (root/'manifest.json').write_text(json.dumps(dict(schemaVersion=1,status='complete',sourceFile='/synthetic/no-pickle-used',cacheHash='',eventsPerSlice=30000,devices={'0':dict(eventCount=n,sliceCount=len(records),readySlices=list(range(len(records))),slices=records)})))

    运行:

    python repro_h45.py /tmp/pt-snap-h4-60000 60000 cycle
    python repro_h45.py /tmp/pt-snap-h4-6000 6000 cycle
    pt-snap query /tmp/pt-snap-h4-60000 --template-use memory_peak --json
    pt-snap query /tmp/pt-snap-h4-60000 --template-use allocator_gap --json
    pt-snap report peak-memory /tmp/pt-snap-h4-60000 --json
    pt-snap report peak-memory /tmp/pt-snap-h4-6000 --json

    实测:

    • 60,000 真实事件,20,000 完整 alloc/free_requested/free_completed 生命周期;峰值事件只有 1 个活跃 block,避免把大归因结果和重复峰值扫描混为一谈。
    • 单独 memory_peak、allocator_gap 都成功。两者各读 60,000 trace 行,再各计 1 行输出;默认工作预算均为 60,001 行。
    • peak-memory 失败,退出码 1,stderr 为 JSON error.code=QUERY_FAILED,包含 Dataset query work budget exceeded,没有部分报告。
    • 对 QueryBudget.consume 和 DatasetResolver.inspect 做只读计数包装(保持原调用、返回值、异常及默认阈值):失败报告读了 100,240 trace 行,其中 40,240 行是第二遍读取的相同事件;加第一步输出合计 100,241 行 / 16,016,330 序列化字节。低于 64 MiB,是行数预算失败。256 行批次决定越界时的观测值,不是把上限偷偷改成 100,241。
    • 60k 失败报告 inspect 2 次,在 allocator_gap 阶段失败,尚未进入 attribution;6k 成功报告 inspect 3 次,同一预算对象消耗 12,007 行(12,000 trace + 3 source event + 1 block + 3 输出)。三个 fingerprint 相同,说明这是重复检查;本次没有制造并发版本变动。

    无插桩真实 CLI 单进程样本:60k memory_peak 0.642 秒 / 峰值 RSS 52,788 KiB;60k report 0.893 秒 / 52,716 KiB。这是一次共享机器上的墙钟/RSS观测,不是统计性能基准;插桩结果未用于速度比较。

    对应固定提交代码:report 两次峰值查询和共享预算、每次 execute_query 都 inspect、两种峰值算法共享 _peaks。

    建议修复:

    1. 仅执行 allocator_gap,从其结果投影已有六个 peak_* 字段,保持报告 JSON、三种 metric、同事件 counter 和空结果语义。
    2. 一次 report 解析/inspect 得到一个 ResolvedDataset/fingerprint,整个报告复用它与同一个预算/截止时间;不要绕过只读检查或把预算按步骤重置。
    3. 验收明确分为“去掉同一范围重复扫描”和“归因仍有真实工作成本”。“所有 memory_peak 可跑规模,report 都能跑”不能只靠去重扫描保证:若峰值存在大量活跃 block,归因额外读取仍会超过合法预算。

    建议回归:本例60k报告在默认预算下成功;6k及60k报告 inspect 恰好1次;分片跨界/并列峰值/allocated-active-reserved分别达峰时与原来输出一致;空范围不发明事件;预算/timeout仍对整体生效;真实超预算仍失败且无部分结果;验证过程中成员变化按明确的一致性契约处理。本次仅验证v1,没有将native-v2或并发发布风险宣称为已复现。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions