Skip to content

分片查询修复后仍存的规模与性能问题 #235

Closed
5 of 5 issues completed
Closed

Description

@codeasier

背景

#217–#223 已在 main(39fefd1)合入修复。复验结论:H1/H3/H4 已修好,H2 进程内已修好(新 CLI 进程仍冷启动,按验收可接受),H5 只覆盖了 callstack_analysis。200 种子 × 20 查询形态随机差分仍 0 差异;pytest 2311 passed。

本 issue 汇总复验后仍存的问题,细节拆到子 issue。

仍存问题

  1. active_*_at_event 规模上限偏低(H5 遗留):约 4.5 万活跃 block 可通过,5 万失败;默认规模下事件时刻 20 万活跃 block 会撞预算。
  2. 少分片生命周期查询更慢:≤10 分片走 ATTACH+CTE,同 100 万 block:4 分片 10.8s vs 25 分片临时库 2.9s;默认 3 分片 block ≈15s。
  3. 默认模式 report / 解析复用会多次完整哈希数据集:热态 report 每分片哈希约 3 次,冷态约 4 次;require_unchanged 占两遍。
  4. 工作预算与 scratch 上限不可配置:仍为硬编码 10 万行 / 64 MiB;深分页(event offset=1_000_000)会失败。
  5. 分片数据集全局查询在默认导出规模下不可用(work budget exceeded) #217 未处理的低优先级项:dataset leak_detection 的 state IN (0,1)、unproved 身份带分片号、msinsight_export 收集全量事件 ID、Query execution failed: 前缀不一致。

建议优先级

先做 1–3(规模与性能),再做 4(可配置预算),最后清理 5。

Activity

  1. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    补充逐项静态复核汇总。基准为当前 main ffa71df;各子issue已分别记录机制、源码定位和修复边界。

    1. #236详细分析:P1。高活跃数容量问题成立,现状先物化全部活跃block及其不同alloc/free来源,再做分组/分页。源事件去重与同操作缓存已经存在,不能只停止对真实读取计费。需要SQL/磁盘分批归约及高同时活跃数验收。
    2. #237详细分析:P2。ATTACH路径的summary与page/buckets重复运行完整CTE归约,而scratch复用归约表;可优先优化查询计划。summary承担页外冲突/来源覆盖检查,不能直接删掉或提前分页。“10片”实际取决于所需观察/证明owner片与SQLite ATTACH上限。
    3. #238详细分析:P2。正常两步peak report默认热态3遍、冷态4遍内容hash的调用链成立。必须先确定完整性合同:immutable本来就是显式承诺产物不可变后允许跳过hash的模式;把默认guard改成inode/size/mtime会降低现有强验证保证。不能直接将“热最多1遍、二次不hash”视为保持现有语义的小优化。
    4. #239详细分析:P2。100,000行/64 MiB工作预算及512 MiB scratch缺少公共CLI/API配置入口;内部_budget可注入。深offset会放大每片实际拉入Python的候选,最终输出很小仍可能失败。公共预算配置与分页计划应分别处理。
    5. #240详细分析:exporter全设备ID list为确定的O(N)额外内存,建议P2独立优化;报错前缀为P3包装一致性。leak state差异需要先确认inactive+unknown-free合同;unproved按片保留已有文档和回归锁定,不能缺少身份证据就跨片去重。

    建议推进顺序:

    对此前验收范围的两点补充:

    • “H5只覆盖callstack_analysis”还应包括已经修复/覆盖的event(callstack排序)与target/source复用;留下的是高活跃数聚合的真实工作量边界。现有测试明确49,999个block通过、50,000失败,当前百万事件规模测试并不等于高同时活跃数验收。
      来源:test_dataset_source_reuse.py:39–106、默认规模模板集合:133–159。
    • #237查询计划和#238哈希成本属于上一轮shard实现/完整性设计。最新#234/ffa71df0只变更互操作验收文档,没有引入这些运行时逻辑。真实interop验收是固定版本、有界样本的互操作证据,未宣称百万事件、高活跃数或性能改善。
      来源:互操作验收范围、默认强验证/immutable合同:199–244。

    证据边界:本轮读完这些issue正文和全部现有评论,并对照固定SHA源码/测试;未运行产品代码、产品测试或性能复验。正文中的2311 passed、200种子×20查询形态、耗时及具体规模阈值均仍是原报告的验收/实测记录,不是本轮重新跑出的结果。源码静态证据支持上述机制,不支持将所有输入的耗时或容量阈值泛化。此次仅补分析评论,尚未实施修复,也未修改issue正文或状态。

  2. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    确认:同意本条汇总及推进顺序。

    本侧已对照 ffa71df 复核 #236–#240 的静态结论,并在各子 issue 下单独回复:

    同意顺序:#236 → #237 → #238(先定完整性)→ #239 → #240。H5 已覆盖 callstack / event(callstack 排序) / 源复用,遗留是高活跃物化边界;#234 未引入这些运行时成本——这两点补充也成立。

    证据边界与你方一致:本轮确认为静态复核 + 便宜单测(源复用预算边界);大规模耗时数字仍以原复验报告为准。

  3. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    按确认范围完成首批实现,已拆成7个独立草稿PR,均基于 main ffa71df0,未合并或关闭issue:

    子项 草稿PR 本轮范围
    #236 #243 ATTACH-fit text-only active SQL归约与有限页补源;1.5M事件/200k活跃两布局验收
    #237 #245 小范围保留ATTACH,大范围一次有界scratch归约
    #238 #247 hash实际读取计量+中途变更回归;零src修改,扫描性能问题仍未解决
    #239 #244 immutable公共限额配置,默认与硬失败不变
    #239 #246 ID排序深分页按匹配计数跳片,其他排序不变
    #240 #241 exporter逐片连续性聚合校验,去掉全量Python ID列表
    #240 #242 领域错误只包装一次,保留timeout类型

    各PR已有源码审查、定向/扩展回归与范围明确的规模证据,详细命令/限制见PR说明。7份本地提交已无冲突集成到验证tree 656142170a9f300cbd04b27bfef7a3053d9cd147,正在执行最终全套+精确安装wheel验收;各远端PR CI也正在运行,目前不宣称全部终态通过。

    建议审阅/合入顺序:#243 → #245 → #247(仅完整性证据)→ #244 → #246 → #241 → #242。独立补丁不意味着必须等待全部完成才能审阅,但合入需另行确认。

    安全边界保持:#238不减少strong检查点或自动启用immutable;#240不删除leak state条件、不取消unproved shard-local身份;#236有序frame/超ATTACH owner仍保留预算回退,不承诺无界大结果默认成功。

  4. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    最终验证更新(2026-10-11):7个草稿PR的精确head CI全部终态成功,49/49 jobs通过;远端head/tree未漂移,均仍open/draft、当前可合并,未执行合入或关闭issue。

    PR 精确head CI
    #243 7d4f10c13429aaa452f4ae128aeee4b0a7c23304 38112631992
    #245 d6c708ac5566a27bd02fc9cdf106f66a3c567b45 38112707222
    #247 3e457215965ae14f9545b63bb6e957857e53e99c 38112788465
    #244 fb28bd26647b9b07b75b2e8f98b7481986b01236 38112637434
    #246 bcf030ebedbe569115143fd19501de9f9659aa69 38112712370
    #241 c98b66b3ac0fb668267398431edd5f81d296292b 38112229472
    #242 1e105a604765b536243fdf2ec71c61f617b4512c 38112279238

    每项CI实际通过Python3.10–3.13、coverage门槛、lint、provenance、独立Chromium job(19 passed=7 provenance+12 browser)及Python3.13 wheel build/source audit/clean-wheel Agent acceptance。各矩阵的可选trusted-producer与两个不支持slice-leak用例仍为skip,未冒充通过。

    另做本地七补丁无冲突集成验收:tree 656142170a9f300cbd04b27bfef7a3053d9cd147,2605 passed / 14 skipped、零失败,branch coverage93.10%,三项关键coverage门槛及lint/type全部通过。14skip=12本地browser+2不支持slice-leak;本地浏览器因OS socket准入被阻止,未绕过或声称该集成tree浏览器通过,各独立PR的远端browser已实际通过。

    最终精确wheel SHA256 8b74bcf1faa5efcb8d08374d97d4ec61d1d88ac5735ba469818e649a9bdbfaaf:fresh sdist/wheel、source audit、隔离安装验收通过;设置PT_SNAP_ACCEPTANCE_WHEEL后,500,002-event producer/export/CLI/API跨片验收实际执行通过。安装验收依赖在隔离venv离线提供,仓库验收断言未修改。

    建议审阅/合入顺序仍为 #243 → #245 → #247 → #244 → #246 → #241 → #242。每次合入后需重新核验下一项最新基线、冲突及CI。#238减少哈希问题、#240 leak/unproved语义仍保持未解决/未变更,不因本轮CI全绿自动关闭。

  5. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    顺序合入与主分支验证已完成(2026-10-11):

    顺序 PR squash main commit
    1 #243 1d1c1288c82953281aadbcd13c0b24f547f4690d
    2 #245 98113bb07134f5b38f45cfb50409c79255e44dbd
    3 #247 e37aa1bc97c1f3e2e0106c6e11607fcaa2deebec
    4 #244 1c580da497447946b2162828aaf4fd606b13e780
    5 #246 d087f6c53ba6951e446a4892eac522e7d0425357
    6 #241 78bf486853d3976847cda27d6f7b9637bfe158ce
    7 #242 1a54337b6492e45cccdf005cee13a17776c22d55

    每项均检查最新head、完整检视和当前main;后续PR先无force同步前序main,再等待其新基线PR CI与前序main push CI均成功才合入。没有将原始旧基线CI充当更新后验证。七项PR精确提交CI及七次main push CI均7/7 success,无冲突、无失败,保留源分支。

    最终main tree 1d9d04f3b318563ff3f038602b98408a4a6c9300 与此前七补丁集成验证tree 656142170a9f300cbd04b27bfef7a3053d9cd147 的精确差异仅为#243检视要求的两行意图注释;执行AST相同。

    最终main CI 38119449118:Python3.10–3.13、lint、provenance、required Chromium全部成功;Python3.13为2604 passed / 15 skipped,branch coverage93.10%,wheel source audit和clean-wheel Agent acceptance实际通过。15skip为12browser(独立job已实际运行19passed=7provenance+12browser)+2intentional slice-leak+1optional installed trusted-producer。此前独立安装wheel的500002-event gate是另一次已记录验证,不与本次CI计数混算。

    本轮未关闭issue。#236/#237/#239已有对应实现合入,但状态仍open;#238减少哈希成本仍未解决,#247仅计量和安全回归;#240 exporter/错误包装已合入,leak state及unproved身份语义未改变。

  6. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    总跟踪收尾(2026-10-11):#236–#240 均已有明确处置,本父 issue 以 completed 关闭。这里的 completed 指本轮跟踪与处置完成;#238 的减少完整哈希目标仍未实现,已按确认决定以 not_planned 收尾。

    最新合入为 #254,main 55b5981fc03df93a60b809153e8abee5f980ed29,tree 0cb5141d79182d4ff4a5ad1dfdea1bf800ebea9b。PR CI 和 main push CI 均终态成功,各 7/7 jobs。Python 3.10–3.13、lint、provenance、独立 Chromium 均通过;main 的 Python 3.13 为 2619 passed / 15 skipped(646.09s),branch coverage 93.18%,三项关键 coverage 门槛 92%/90%/85% 通过,wheel build/source audit/clean-wheel Agent acceptance 实际成功。15 skipped 未计为通过;浏览器在独立 job 实际执行 19 passed(7 provenance + 12 browser)。

    此前七项 PR 的顺序合入与验证仍见原汇总。本次关闭只更新处置状态并追加总结,保留正文中的原始问题、旧测量和历史验收,不将它们改写为新测量或宣称全部性能目标已实现。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions