Skip to content

[perf] active_*_at_event 仍受工作预算限制,默认规模会失败 #236

Closed

Description

@codeasier

父 issue:#235
关联:#222(H5)只验收了 callstack_analysis,本条是遗留。

问题

active_*_at_event 路径基本未改:每个活跃 block 自身及其引用的源事件仍计入工作预算。

复验(main 39fefd1)

  • 约 4.5 万活跃 block:可通过;约 5 万:work budget exceeded(原先约 3 万可通过 / 6 万失败,上限仅略升)
  • 默认导出规模(150 万事件 / 3 分片):事件时刻约 20 万活跃 block 时,active_memory_callstack_at_event 失败

建议

  • 源事件只按去重后的实际读取量计入预算
  • 或对活跃 block + 源事件做 SQL 下推 / 分批归因,避免双重计数
  • 补默认导出规模下的 active_*_at_event 验收测试

验收

  • 默认导出规模(每片 50 万事件)下 active_memory_at_event / active_memory_callstack_at_event 可完成
  • 差分语义与单 DB 一致

Activity

  1. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    静态复核结论:容量问题成立,建议 P1;主要瓶颈需要归因到活跃集合及其真实来源的全量物化,不能仅按“源事件未去重”处理。

    核验基准:main ffa71df。本轮只读核对源码和现有测试,未运行产品代码、测试或性能复验。正文中的约4.5万通过、5万失败及150万事件/20万活跃 block 数据,保留为原报告的实测记录,不是本轮重新测得。

    1. 当前 event_attribution 先读取目标片内全部活跃 block,再读取各 block 的 allocEventId/freeEventId 来源;limit、top_n、max_rows 在归因/分组之后才生效。因此即使最终只返回一行,也可能已经耗尽工作预算。
      来源:dataset_attribution.py:29–45、127–163。

    2. events() 已使用 sorted(set(event_ids)),并复用同一操作内的 _events 缓存;target() 先取过的事件也可复用。block 行、allocation 行及未来 free 行通常是不同记录,不能全部视为重复读取后停止计费。
      来源:dataset_sources.py:212–245。

    3. 当前测试已明确保留这个容量边界:49,999 个 block 的同栈聚合通过,预算为 2N+1;50,000 个失败于100,001行。另有3,000/5,000个长栈来源测试,确认64 MiB序列化值上限可以先于行数上限触发。64 MiB不是进程RSS上限。
      来源:test_dataset_source_reuse.py:83–134。

    4. 现有默认规模测试覆盖百万事件下的峰值、列表、生命周期和 callstack_analysis,但未覆盖高同时活跃数;真实导出链里的 active 检查只有一个跨片 block。因而这应作为新增的高占用规模验收,不能从此前百万事件测试通过推导已覆盖。
      来源:test_dataset_scale_acceptance.py:133–159、318–328。

    建议修复方向:

    • 对活跃集合做 SQL 下推或有界磁盘/分批归约,减少进入 Python 的原始 block 与完整来源记录;分页查询只对需要返回的详情做有界补充,但全局 coverage/分组所需统计仍须完整计算。
    • 保留 allocation/free 来源证明、未来 free 引用覆盖、静态/预存分类、完整文本及 ordered-frame 身份、全局 top_n 与百分比分母语义。不要用不计真实读取成本来制造“通过”。
    • 补同一数据的 standalone/dataset 差分,以及高活跃数、长栈、跨片局部栈ID冲突、未来 free 引用和真正超预算时无部分结果的回归。

    验收名称还需小幅校正:当前现有模板是 active_blocks_at_event 与 active_memory_callstack_at_event;未发现 active_memory_at_event 这个模板。以上仅为分析及建议,未实施修复。

  2. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    确认:同意本条静态复核,建议按 P1 推进。

    我们对照 ffa71df 复核了你引用的源码与测试:

    • 瓶颈确实是先物化全部活跃 block 及其 alloc/free 源,再做 limit/top_n(dataset_attribution.py),不是「源事件未去重」——events() 已有 sorted(set(...)) 与同操作缓存。
    • test_dataset_source_reuse.py 锁定的 49,999 通过 / 50,000 在 100,001 行失败边界属实(本侧已重跑该用例)。
    • 模板名更正:现有模板为 active_blocks_at_event 与 active_memory_callstack_at_event;此前正文写的 active_memory_at_event 有误,验收应以实际模板名为准。
    • 默认规模验收未覆盖高同时活跃数,同意作为新增验收项。

    修复方向同意:SQL/有界磁盘分批归约,保留来源证明与全局分组语义;不以「不计真实读取」绕过预算。耗时与规模数字仍以原复验报告为准。

  3. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    验收结论(2026-10-11):#243 已合入 main,按已确认的有界查询范围完成本项,关闭为 completed。

    • 验收模板采用此前更正的 active_blocks_at_event 与 active_memory_callstack_at_event。
    • compat v1 / native v2 的 text-only、proof-owner 集合可 ATTACH 路径,先在 SQL 完成全活跃集合 coverage、完整文本分组与排名,再有界补齐最终详情页的来源;保留 alloc/free 来源证明、未来 free、静态/预存分类、全局 top_n 和百分比分母。
    • 已记录的合成规模验收:1,500,000 events,3×500,000 分片,200,000 同时活跃 blocks。两布局在默认工作预算下,详情 page=20/exact_total 与聚合 top_n=20 均成功,公共结果字段与同数据 standalone 差分一致,源文件 hash 不变。详情页收费 84 rows / 约35 KB,聚合收费45 rows / 约19 KB。规模与差分证据见 fix: reduce active-event attribution before bounded hydration #243。

    验收边界:ordered-frame extension、proof-owner 超 ATTACH 上限继续使用原有正确且计费的 fallback;不承诺所有高基数输入或无界结果都能在默认预算下成功。200,000 条无界详情输出仍按真实输出计费并硬失败,不返回部分全局结论。正文中的旧容量阈值保留为修复前记录。

    核验基准:当前 main 1a54337b6492e45cccdf005cee13a17776c22d55(tree 1d9d04f3b318563ff3f038602b98408a4a6c9300)。对应 main CI 已终态成功,7/7 jobs 通过,包含 Python 3.10–3.13、coverage、lint、provenance、独立 Chromium,以及 Python 3.13 的 wheel build/source audit/clean-wheel Agent acceptance。

    本次关闭前重新核对 issue 全部评论、已合入 PR 和当前 main/CI;没有把此前合成规模记录表述为本次重新跑出的结果。完整合入及验证记录见 #235 汇总。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions