Skip to content

[perf] ≤10 分片时生命周期查询走 ATTACH+CTE 反而更慢 #237

Closed

Description

@codeasier

父 issue:#235

问题

分片数 ≤10 时走 ATTACH + CTE(dataset_lifecycle_sql.py:78-120:UNION ALL + 窗口函数,summary 与分页各算一遍完整 CTE)。多分片走临时库归约反而更快。

复验(已验证)

同样约 100 万 block:

  • 4 分片(ATTACH+CTE):10.8s
  • 25 分片(临时库):2.9s
    默认导出 3 分片时 block ≈15s。

建议

  • 统一走临时库归约,或让 ≤10 分片路径也只算一次 CTE
  • 或按实测阈值自动选择更快路径

验收

  • 默认 3 分片规模的 block / leak_detection 耗时应接近或优于多分片临时库路径
  • 语义与当前差分测试一致

Activity

  1. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    静态复核结论:小分片路径重复执行昂贵归约的机制成立,建议 P2,可优先作为独立查询计划优化推进。

    核验基准:main ffa71df。本轮仅核对源码与现有测试,未运行产品代码、测试或性能复验。正文中的4片10.8s、25片2.9s、默认3片约15s为原报告实测,本轮未重新验证,也不能据源码推导所有少分片输入必然更慢。

    源码确认:

    1. ATTACH 路径将观察记录 UNION ALL,验证 allocation/free 来源,按 lifecycle token GROUP BY 检查冲突,再用 ROW_NUMBER 选最新观察。summary 与 page/buckets 是两条独立 SQL,各自带完整 CTE,没有跨语句复用归约结果。受影响包括 block、leak_detection 和 freed_block_lifetime。
    2. 路由条件实际是“观察片+alloc/free证明所需 owner 片”是否超过 SQLite ATTACH 上限;上限通过 getlimit 获取,Python 3.10回退为10。完整数据集查询通常对应总片数,局部 scope 未必如此。
    3. summary 还负责全范围冲突和来源覆盖检查,即使 limit=0、没有请求 exact_total 或只返回少量行,也不能直接删除它,或把过滤/分页提前到这些检查之前。
      来源:dataset_lifecycle_sql.py:20–64、78–120、138–211。

    多分片 scratch 路径先构建 refs 与按 token 主键归约的 lifecycle_state,再分别读取 summary/page,避免重复构建完整观察历史和窗口排序;它自身仍有多轮来源扫描,不能概括为所有数据只扫描一遍。
    来源:dataset_lifecycle_scratch.py:64–167。

    建议修复与验收:

    • 在同一份产物上强制比较 ATTACH 和 scratch 两条路径,再确定路由阈值;不同分片布局可能改变重复观察数、文件字节数和I/O,仅“同样约100万block”还不是完全受控基准。
    • 优先评估让大规模小分片查询复用 scratch reducer,或将 CTE 归约结果有界物化一次。保留小输入、scratch禁用、不可写/磁盘不足、deadline、清理和源库只读的行为。
    • 保留 proof owner、最新观察及 tie、NULL invariant、先前 completed-free、终片 survivor、页外冲突、精确总数和全局排序分页语义。现有三模板 earlier_free/null_invariant/wrong_action/same_slice_tie 与页外冲突差分可作为底线。
      来源:test_dataset_lifecycle_scratch.py:201–261。

    历史上 ATTACH+CTE 路径来自 #228,#231增加超 ATTACH 上限的 scratch 分支并保留了小分片路径。最新 #234仅记录互操作验收文档,没有改变此运行时逻辑。以上未实施修复。

  2. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    确认:同意机制分析,建议 P2。

    • ATTACH 路径上 summary 与 page 各自跑完整 CTE、scratch 复用归约表,源码核对成立。
    • 路由措辞采纳你的更正:条件是「观察片 + proof-owner 片」对比 SQLite ATTACH getlimit(3.10 回退 10),而不是简单的「≤10 片」。全设备查询下两者常重合,但局部 scope / proof 扩片时以你的表述为准。
    • 同意不能直接删除 summary,也不能把分页提前到冲突 / coverage 检查之前。
    • 正文中的 4 片 10.8s / 25 片 2.9s / 默认 3 片约 15s 仍是本侧实测;你方为静态复核未重跑,我们认同「机制可能导致更慢」,不把耗时泛化到一切布局。

    优化前建议在同一产物上强制对比 ATTACH 与 scratch 两条路径后再定路由阈值。

  3. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    验收结论(2026-10-11):#245 已合入 main,本项查询计划优化及语义回归已完成,关闭为 completed。

    • 路由依据为实际观察范围与所需 proof-owner 片,而非固定“≤10 分片”:最多探测4097条观察;4096以内且可 ATTACH 时保留小输入路径,较大范围复用一次有界 scratch 归约,summary/page/buckets 使用归约结果。
    • 全范围来源证明、coverage、页外冲突、最新观察及 tie、NULL invariant、先前 completed-free、终片 survivor、精确总数和全局排序分页语义仍保留。探测与归约遵守 deadline/work budget;scratch=0 的禁用、源库只读、清理与真正超限硬失败保持不变。

    已记录的同产物受控验收(#245):1,000,000 lifecycles / 2,500,000 observations / 3 shards:

    • block:原 ATTACH 22.29s;auto 5.266s;同轮强制 scratch 5.285s。
    • leak_detection:22.09s;5.195s;5.531s。
    • freed_block_lifetime:21.32s;5.674s;5.464s。

    auto 与强制 scratch 的结果及完整 coverage 相同,每次仅构建一次归约库;源文件 hash 不变,scratch 清理通过。另有4096/4097路由边界、差分、页外冲突、scratch失败/cleanup回归。以上秒数为同一环境单次观测,满足本项对默认3片规模的受控比较目标,不作为所有机器、布局或输入的一般性能保证。

    核验基准:当前 main 1a54337b6492e45cccdf005cee13a17776c22d55(tree 1d9d04f3b318563ff3f038602b98408a4a6c9300)。对应 main CI 已终态成功,7/7 jobs 通过,包含 Python 3.10–3.13、coverage、lint、provenance、独立 Chromium,以及 Python 3.13 的 wheel build/source audit/clean-wheel Agent acceptance。

    本次关闭前重新核对 issue 全部评论、已合入 PR 和当前 main/CI;未重新运行百万规模基准。完整合入及验证记录见 #235 汇总。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions