Skip to content

[ux] 工作预算与 scratch 上限仍硬编码,深分页等场景无法调高 #239

Closed

Description

@codeasier

父 issue:#235

问题

工作预算仍为硬编码 10 万行 / 64 MiB(dataset_sources.py:67-73);max_scratch_db_bytes 同样不可配置。CLI / 公共 API 均无开关。

复验

建议

  • 暴露可配置预算(环境变量 / CLI flag / API 参数),并在文档说明默认值与失败语义
  • 深分页改为不依赖“扫描到 offset 的全部行都进预算”,或明确文档限制

验收

  • 用户可调高预算后,深分页与大结果集查询可完成
  • 默认行为不变,文档写明限制

Activity

  1. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    静态复核结论:公共配置入口缺失、深 offset 放大实际获取量这两点成立,建议 P2;可以分别处理预算接口与查询计划。

    核验基准:main ffa71df。本轮仅源码和现有测试审查,未运行产品代码、测试或复现命令。正文的 offset=1,000,000失败、约6万行无limit leak失败仍是原报告的实测,本轮没有重新测量其具体阈值。

    1. 默认 QueryBudget 为100,000行、64 MiB序列化工作值、512 MiB scratch DB页。工作行/字节累计包括来源读取及最终输出;scratch值不是总SQLite临时空间或RSS上限。
      来源:dataset_sources.py:63–90。

    2. “不可配置”准确地说是缺少公共CLI/API入口。内部 QueryBudget 的字段可设,QueryService也接受私有 _budget 注入;公开 SnapshotAnalyzer.execute_query 和 CLI 只暴露结果行数、超时等,没有工作预算/scratch选项。-n、limit、timeout 不会提高这些上限。
      来源:query_service.py:223–242、api.py:207–228、cli.py:583–603。

    3. global_query 用 offset+limit 作为每个分片的候选上限;_events 将这些候选实际取入Python并全局排序,之后才切出最终页。工作预算针对已获取行计费,因此深分页即使返回很少行也可能越界。这比“SQLite扫描过的每行都进预算”更准确:当前计费对象主要是跨到Python的候选/来源/输出,而非SQLite内部所有扫描行。
      来源:dataset_global.py:190–227、489–496、569–576。

    建议:

    • 引入统一、可校验的公共预算配置,让CLI、SnapshotAnalyzer和report共享同一解析与优先级;默认行为不变,明确正值/禁用值语义,错误和scope回显实际有效预算。
    • 一并更新 dataset_support 等当前写死默认值的能力元数据,避免用户调高后仍显示旧上限。报错应区分实际配置值与默认值。
    • 对ID排序的事件分页,评估按片匹配计数跳过和keyset分页;其他排序仍须保持全局排序、tie、筛选和exact_total语义,不能直接把同一个SQL OFFSET下推到每片。
    • 对扩大预算后的深分页、大结果、长栈、scratch不足、共享report累计计费做测试;保留真正超限时整次失败且不返回部分全局结论。
    • 提高预算属于显式容量出口,仍可能增加真实内存/磁盘成本,不能替代[perf] active_*_at_event 仍受工作预算限制,默认规模会失败 #236/#237的归约优化。

    临时按 min_id/max_id 或更窄scope定位,可避免部分深offset开销;改查单片会改变范围,不等价于原全局查询。以上仅建议,未新增配置或修改执行逻辑。

  2. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    确认:同意本条分析,建议 P2。

    • 「不可配置」准确表述为缺少公共 CLI / API 入口;内部 QueryBudget 与私有 _budget 注入确实存在。
    • 深 offset 计费对象是每片拉入 Python 的 offset+limit 候选(再全局排序切页),不是 SQLite 内部扫描的每一行。

    同意将「公共预算配置」与「分页计划优化」分开推进;提高预算是显式容量出口,不能替代 #236 / #237 的归约优化。默认行为应保持不变,并文档化有效预算与失败语义。

  3. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    验收结论(2026-10-11):公共预算配置 #244 与 ID 深分页 #246 均已合入 main,两部分完成,关闭为 completed。

    公共配置验收:

    • immutable QueryLimits 已覆盖公共 API、QueryService、SnapshotAnalyzer、ReportService 和 query/report CLI;按字段 explicit > environment > default。有效配置会用于能力元数据与错误信息;每次独立操作重建计数,组合 report 共享累计预算/deadline。
    • 默认仍为100,000 rows、64 MiB work bytes、512 MiB scratch DB pages。rows/bytes 只接受正整数;scratch=0 表示禁用,非零范围4096 bytes–4 GiB,不提供无限值。文档说明有效限额、资源成本及超限硬失败语义,超限不返回部分全局结论。
    • feat: expose immutable query limits across API and CLI #244 已记录120k-event 非 ID 排序深分页、120k leak 全量结果的容量回归:默认限额失败,显式提高限额后成功;这些验证不依赖 ID 分页补丁。

    分页计划验收:

    • perf: skip whole shards for ID-ordered deep pages #246 仅优化 event/allocation 的 order_by=id ASC/DESC,按各片匹配计数跳过整片,在落点片执行局部 OFFSET,只读取结果窗口,并为最终 event 页补来源/frames。
    • 已记录的合成1,000,012 events / 4 shards / page=5 回归:ASC/DESC 的 offset=0 与1,000,000 均在默认预算成功;event 每次收费19 rows、allocation 14 rows,serialized work <10 KB。保留筛选、稀疏ID、scope、exact_total/has_more/truncated 和边界错误;差分及源hash检查通过。
    • 非 ID 排序仍走原路径,可能需要显式提高预算。SQL 内部 COUNT/OFFSET 扫描、完整性 hash、RSS与真实磁盘成本不会因此消失;提高预算也不能替代查询计划优化。

    核验基准:当前 main 1a54337b6492e45cccdf005cee13a17776c22d55(tree 1d9d04f3b318563ff3f038602b98408a4a6c9300)。对应 main CI 已终态成功,7/7 jobs 通过,包含 Python 3.10–3.13、coverage、lint、provenance、独立 Chromium,以及 Python 3.13 的 wheel build/source audit/clean-wheel Agent acceptance。

    本次关闭前重新核对 issue 全部评论、两项已合入 PR 和当前 main/CI;上述容量及分页数字引用已记录验收,并非本次重新执行。完整合入及验证记录见 #235 汇总。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions