You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
leak_detection 和 active_blocks_at_event 都以 ORDER BY size DESC 结尾。加上 size 索引后,planner 会选它来省掉排序,但这是个非覆盖索引,每行都要回表取 address / allocEventId / freeEventId,总代价反而高于全表扫 + 内存排序:
-- leak_detection,无索引:20.6 ms
SCAN block_0 | USE TEMP B-TREE FOR ORDER BY
-- leak_detection,按本 issue 建议建三列索引后:207.2 ms
SEARCH block_0 USING INDEX idx_block_0_size (size>?)
active_blocks_at_event 同样从 54ms 退化到 241ms(计划里多出 USE TEMP B-TREE FOR LAST TERM OF ORDER BY,因为单列 size 索引无法满足 ORDER BY size DESC, id ASC 的混合方向)。
Activity
codeasier commentedon Jul 27, 2026
已对本 issue 的各项断言做了代码核实和实测(500k
trace_entry行 + 300kblock行,Python 3.13 / SQLite 3.51),结论如下。结论总览
create_index存在但从未调用trace_entry的allocated/active/reserved索引memory_peak快 ~24000x,allocator_gap快 ~8000xblock的size索引leak_detection慢 10x,active_blocks_at_event慢 4xblock的allocEventId索引block的freeEventId索引leak_detection快 1.5x,但active_blocks_at_event慢 2xcreate_index确实只在sqlite_meta.py:258定义、全仓库零调用(rg create_index仅 1 处匹配);列名与defs.py中EventFieldDefs/BlockFieldDefs完全对得上。所以问题描述的现象是真的,但「六列都建单列索引」这个具体方案有一半是负收益。逐条说明
trace_entry:强烈建议加
memory_peak的 6 个子查询全部升级为 covering index scan,MAX(allocated)这类走 SQLite 的 MIN/MAX 优化变成 O(1)。allocator_gap的filteredCTE 被 SQLite 展平(并未物化成临时表),同样吃到 covering index。两个模板在 500k 行上分别从 ~130ms、~110ms 降到 <0.1ms。block:这里是方案的问题
leak_detection和active_blocks_at_event都以ORDER BY size DESC结尾。加上size索引后,planner 会选它来省掉排序,但这是个非覆盖索引,每行都要回表取address/allocEventId/freeEventId,总代价反而高于全表扫 + 内存排序:active_blocks_at_event同样从 54ms 退化到 241ms(计划里多出USE TEMP B-TREE FOR LAST TERM OF ORDER BY,因为单列size索引无法满足ORDER BY size DESC, id ASC的混合方向)。补充两点验证:
ANALYZE也一样,planner 在有/无sqlite_stat1两种情况下都选了这个更慢的计划,不是统计信息缺失导致的误判。min_size调到 8MB(命中 9167 行)仍然慢 7x;只有把min_size拉到 16MB、命中 0 行时索引才明显有利。默认min_size=0恰好是最差情况。allocEventId索引在两个 block 查询的执行计划里从未出现——size索引一旦存在就把它挤掉了。freeEventId索引在不建size索引时能让leak_detection触发 MULTI-INDEX OR 优化(20.6ms → 13.8ms,1.5x),但同时让active_blocks_at_event从 54ms 掉到 149ms(OR 分支展开成三段索引搜索)。净收益不明确。代价方面:六列索引让 db 从 43.8MB 涨到 76.8MB(+75%)。
实现时序:建议不要放在建表方法里
SnapshotDbHandler.__init__(snapshot2db.py:27-28)在建表后、批量写入之前就返回了。如果按 issue 的代码片段把create_index放进create_trace_entry_table/create_block_table,索引会在整个 import 写入期间存在,每 1000 条 commit 都要维护索引,直接推高 import 耗时。issue 的「注意事项」里其实已经提到「可考虑在导入完成后批量建索引」,但给出的代码片段和这条注意事项是矛盾的——建议以后者为准。实测在数据写完后一次性建六个索引只要 0.47s,放在
flush()之后代价可以忽略。旧 db 兼容:懒建索引在当前架构下不可行
注意事项提到「首次打开时懒建索引」,但
Context以只读 URI 打开数据库(context.py:119,file:{db_path}?mode=ro),查询路径物理上无法写入索引。这条需要换方案:要么在SnapshotDb(写入路径)上提供独立的ensure_indexes(),要么直接在文档里说明旧 db 需重新pt-snap import。修正后的建议实现
如果后续确实要优化
leak_detection/active_blocks_at_event,方向应该是复合/覆盖索引(例如(size DESC, id)或把查询用到的列都放进索引让它变成 covering),而不是单列索引;并且需要配合EXPLAIN QUERY PLAN逐个模板验证,而非批量加列。验收标准修订建议
trace_entry_{device}创建allocated/active/reserved索引block表allocEventId/freeEventId/size三列索引的验收项(实测有害或无效)PRAGMA index_list)memory_peak/allocator_gap做耗时对比,确认显著下降tests/test_contract_cli_mcp.py覆盖leak_detection的 CLI/MCP 契约,改动不涉及其输出语义,风险低)综合判断:问题真实,方向正确,但建议的六列清单需要收窄到 trace_entry 三列,否则最常用的两个 block 模板会出现 4~10x 的性能回退。
codeasier commentedon Jul 28, 2026
实施说明更新(基于 PR #78 与当前 main)
PR #78 已完成 #75 的 SQLite 写入调优并合入,因此本 issue 的实现边界和落点更新如下。
实现边界
SnapshotDb写连接启用journal_mode=MEMORY、synchronous=OFF和 64 MiB cache;[FEATURE] 为 SnapshotDB 表创建常用查询列的索引(子任务 #72-1) #73 不再修改写入 PRAGMA。SnapshotDb.create_trace_entry_table()/create_block_table()中创建索引,避免批量导入期间持续维护索引。SnapshotImportBackend.dump_to_db(..., finalize_temp_db=...)已提供临时数据库发布前的 finalization 扩展点。索引应在 vendored import 成功后、os.replace()原子发布前,通过该非 vendor 扩展点创建。修订后的索引范围
仅为每个已导入设备的
trace_entry_<device>创建以下三个索引:allocatedactivereserved不创建
block_<device>的allocEventId、freeEventId、size单列索引。已有实测表明这些索引无收益或会使leak_detection/active_blocks_at_event出现明显性能回退。后续如需优化 block 查询,应基于具体模板与EXPLAIN QUERY PLAN单独设计复合或覆盖索引。与 import metadata/cache 的交互
当前 import 支持基于
pt_snap_metadata的结果复用。实现时必须处理“metadata 可用但缺少新索引”的数据库,避免将其继续视为完整缓存命中。可选择:IMPORT_FORMAT_VERSION,使旧格式数据库自动触发重新 import;或若索引被定义为导入产物格式的一部分,优先采用提升
IMPORT_FORMAT_VERSION的方案。生命周期注意事项
vendored
SnapshotDbHandler当前仍依赖__del__commit/close。finalizer 会重新打开临时数据库的写连接,因此测试必须覆盖 vendored import 返回后索引连接可正常打开、写入和关闭。若需要显式 close,应作为独立 lifecycle follow-up 处理,避免扩大本 issue 范围。修订后的验收标准
os.replace()之前allocated/active/reserved三个索引allocEventId/freeEventId/size单列索引PRAGMA index_list/PRAGMA index_info验证索引及列映射--device导入EXPLAIN QUERY PLAN验证memory_peak/allocator_gap能利用 trace 索引pytest、ruff check .及tests/test_contract_cli_mcp.py全部通过该修订替代 issue 正文中“六列索引且在建表方法末尾创建”的建议实现。