You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
非 ID 排序仍走原路径,可能需要显式提高预算。SQL 内部 COUNT/OFFSET 扫描、完整性 hash、RSS与真实磁盘成本不会因此消失;提高预算也不能替代查询计划优化。
核验基准:当前 main 1a54337b6492e45cccdf005cee13a17776c22d55(tree 1d9d04f3b318563ff3f038602b98408a4a6c9300)。对应 main CI 已终态成功,7/7 jobs 通过,包含 Python 3.10–3.13、coverage、lint、provenance、独立 Chromium,以及 Python 3.13 的 wheel build/source audit/clean-wheel Agent acceptance。
Activity
codeasier commentedon Oct 11, 2026
静态复核结论:公共配置入口缺失、深 offset 放大实际获取量这两点成立,建议 P2;可以分别处理预算接口与查询计划。
核验基准:main ffa71df。本轮仅源码和现有测试审查,未运行产品代码、测试或复现命令。正文的 offset=1,000,000失败、约6万行无limit leak失败仍是原报告的实测,本轮没有重新测量其具体阈值。
默认 QueryBudget 为100,000行、64 MiB序列化工作值、512 MiB scratch DB页。工作行/字节累计包括来源读取及最终输出;scratch值不是总SQLite临时空间或RSS上限。
来源:dataset_sources.py:63–90。
“不可配置”准确地说是缺少公共CLI/API入口。内部 QueryBudget 的字段可设,QueryService也接受私有 _budget 注入;公开 SnapshotAnalyzer.execute_query 和 CLI 只暴露结果行数、超时等,没有工作预算/scratch选项。-n、limit、timeout 不会提高这些上限。
来源:query_service.py:223–242、api.py:207–228、cli.py:583–603。
global_query 用 offset+limit 作为每个分片的候选上限;_events 将这些候选实际取入Python并全局排序,之后才切出最终页。工作预算针对已获取行计费,因此深分页即使返回很少行也可能越界。这比“SQLite扫描过的每行都进预算”更准确:当前计费对象主要是跨到Python的候选/来源/输出,而非SQLite内部所有扫描行。
来源:dataset_global.py:190–227、489–496、569–576。
建议:
临时按 min_id/max_id 或更窄scope定位,可避免部分深offset开销;改查单片会改变范围,不等价于原全局查询。以上仅建议,未新增配置或修改执行逻辑。
codeasier commentedon Oct 11, 2026
确认:同意本条分析,建议 P2。
QueryBudget与私有_budget注入确实存在。offset+limit候选(再全局排序切页),不是 SQLite 内部扫描的每一行。同意将「公共预算配置」与「分页计划优化」分开推进;提高预算是显式容量出口,不能替代 #236 / #237 的归约优化。默认行为应保持不变,并文档化有效预算与失败语义。
feat: expose immutable query limits across API and CLI (#244)
perf: skip whole shards for ID-ordered deep pages (#246)
codeasier commentedon Oct 11, 2026
验收结论(2026-10-11):公共预算配置 #244 与 ID 深分页 #246 均已合入 main,两部分完成,关闭为 completed。
公共配置验收:
QueryLimits已覆盖公共 API、QueryService、SnapshotAnalyzer、ReportService 和 query/report CLI;按字段 explicit > environment > default。有效配置会用于能力元数据与错误信息;每次独立操作重建计数,组合 report 共享累计预算/deadline。分页计划验收:
order_by=idASC/DESC,按各片匹配计数跳过整片,在落点片执行局部 OFFSET,只读取结果窗口,并为最终 event 页补来源/frames。核验基准:当前 main
1a54337b6492e45cccdf005cee13a17776c22d55(tree1d9d04f3b318563ff3f038602b98408a4a6c9300)。对应 main CI 已终态成功,7/7 jobs 通过,包含 Python 3.10–3.13、coverage、lint、provenance、独立 Chromium,以及 Python 3.13 的 wheel build/source audit/clean-wheel Agent acceptance。本次关闭前重新核对 issue 全部评论、两项已合入 PR 和当前 main/CI;上述容量及分页数字引用已记录验收,并非本次重新执行。完整合入及验证记录见 #235 汇总。