Repository navigation
Description
功能描述
查询执行层有四处可优化点:结果切片在 Python 层、memory_peak SQL 嵌套子查询、Jinja 模板无编译缓存、MCP 场景连接未复用。本 issue 是 #72 的子任务,聚焦「查询层执行效率」。
使用场景
pt-snap query大结果集查询(如leak_detection返回上万行)pt-snap report peak-memory调用memory_peak模板- MCP server 长驻进程中反复执行查询模板
期望的实现方式
1. max_rows 在 Python 层切片而非 SQL LIMIT【中】
QueryService.execute_query 先 executor.execute_template 拉全部行(cursor.fetchall() + 构造 dict 列表),再用 rows[:max_rows] 切。对大结果集是双倍内存 + 全量扫描。
建议:把 max_rows 通过模板变量注入到 SQL 末尾的 LIMIT,下推到 SQLite。
实现要点:
QueryExecutor.render增加可选的max_rows参数,渲染时在 SQL 末尾追加LIMIT {{ max_rows }}(当max_rows > 0时)。- 注意
active_blocks_at_event模板已自带LIMIT {{ limit }},需避免重复 LIMIT。可在模板侧统一约定:所有模板都通过limit变量控制,QueryService不再单独切片。 leak_detection/block/event/allocation模板需要补充LIMIT子句(或由 executor 统一追加)。
涉及代码:
src/pt_snap_cli/core/query_service.py:execute_querysrc/pt_snap_cli/query/executor.py:execute/execute_template/render- 各
src/pt_snap_cli/query/templates/**/*.yaml
2. memory_peak 模板嵌套子查询【中】
memory_peak.yaml 有 6 个嵌套子查询,每个子查询全表扫描一次,外层再扫一次,总计约 12N 次行扫描(无索引时)。
建议:用 CTE 把峰值计算收敛到一次扫描:
WITH peaks AS (
SELECT MAX(allocated) AS pa, MAX(active) AS pac, MAX(reserved) AS pr
FROM {{ device_trace_table }}
{% if start_id is not none %}WHERE id >= {{ start_id|int }}{% endif %}
{% if end_id is not none %}{% if start_id is none %}WHERE{% else %}AND{% endif %} id <= {{ end_id|int }}{% endif %}
)
SELECT pa,
(SELECT MIN(id) FROM {{ device_trace_table }} WHERE allocated = pa) AS peak_allocated_event_id,
pac,
(SELECT MIN(id) FROM {{ device_trace_table }} WHERE active = pac) AS peak_active_event_id,
pr,
(SELECT MIN(id) FROM {{ device_trace_table }} WHERE reserved = pr) AS peak_reserved_event_id
FROM peaks注意:配合 #72-1 的索引(allocated / active / reserved),子查询可走索引。需保证 CTE 版本与原版本在边界条件(start_id / end_id 为 null)下输出完全一致。
涉及代码:src/pt_snap_cli/query/templates/statistical/memory_peak.yaml
3. Jinja 模板无编译缓存【低】
QueryExecutor.render 每次 self._env.from_string(template.query) 重新解析模板字符串。CLI 单次调用影响小,MCP 反复调用有累积开销。
建议:在 QueryExecutor 上维护 self._compiled: dict[str, Template],按 template name 缓存编译结果。或用 Environment.from_string 配合 jinja2.FileSystemBytecodeCache。
涉及代码:
src/pt_snap_cli/query/executor.py:render/__init__
4. MCP 场景下连接未复用【低】
QueryService.execute_query 每次新建 Context → 新建 sqlite 连接 → 关闭,并重复做 schema 校验(dictionary 表检查)和 device discovery。MCP server 长驻时反复 open/close。
建议:在 SnapshotAnalyzer(api.py)或 QueryService 中按 db_path 缓存 Context 实例。需注意:
- db 文件被替换(重新 import)后需失效缓存,可通过文件 mtime 或显式
invalidate()控制。 - 只读连接复用是安全的(无并发写入)。
- 缓存应限制大小(如 LRU,maxsize=4),避免内存泄漏。
涉及代码:
src/pt_snap_cli/core/query_service.py:execute_querysrc/pt_snap_cli/context.py:Contextsrc/pt_snap_cli/api.py:SnapshotAnalyzer
验收标准
-
max_rows通过 SQLLIMIT下推,不在 Python 层切片 -
active_blocks_at_event等已有 LIMIT 的模板不出现重复 LIMIT -
memory_peak模板用 CTE 重写,扫描次数从 12N 降到常数次 - CTE 版本与原版本输出在
start_id/end_id各种组合下完全一致 -
QueryExecutor缓存编译后的 Jinja 模板 -
SnapshotAnalyzer/QueryService缓存Context,db 替换时正确失效 - 现有测试全部通过,特别是
tests/test_contract_cli_mcp.py的 CLI/MCP 语义契约 - MCP 场景下连续执行 10 次查询的累积耗时显著下降
Activity
codeasier commentedon Jul 27, 2026
代码已逐条核查,以下是对四个优化点的评审意见。
问题 1:
max_rows在 Python 层切片 — 属实,但方案需调整core/query_service.py:128-131确认先fetchall()再rows[:max_rows],大结果集确实存在双倍内存问题。但下推 SQL
LIMIT不能直接替代当前实现,原因在于QueryResult设计了两个语义不同的字段:total在 MCP 场景下有明确用途(让调用方知道结果集实际有多大)。若把LIMIT推入 SQL,要么丢失total精度,要么需额外发一次COUNT(*)查询。此外
statistical/active_blocks_at_event.yaml:73已经有LIMIT {{ limit|int }}(default=-1 即无限),executor 层再追加一个LIMIT会生成两个LIMIT子句,SQLite 会直接报语法错误。建议:先明确
total字段的语义取舍(是否接受退化为「已返回行数」,或补一次COUNT(*)),并在 executor 层检测模板是否已含LIMIT,不宜统一无条件追加。问题 2:
memory_peak嵌套子查询 CTE 重写 — 属实,但提案 CTE 有语义 Bug实际模板是 9 个全表扫描子查询(3 个
MAX+ 3 对MAX+MIN(id)),不是「约 12N」。更关键的是,提案 CTE 中事件 ID 查询丢失了
start_id/end_id范围过滤:当同一峰值在范围外也出现时,返回的
event_id会指向范围外的行。用实际数据验证(range =[3, 5],id=1与id=4的allocated同为 500):这一点直接违反验收标准中的「CTE 版本与原版本输出在
start_id/end_id各种组合下完全一致」。正确写法需在事件 ID 子查询里保留范围条件:CTE 的方向是对的(3 次
MAX扫描合并为 1 次),但扫描次数只降到「1 次聚合扫描 + 3 次事件 ID 查找」,不是「常数次」意义上的一次;事件 ID 查找能否走索引取决于 #72-1 是否已落地。问题 3:Jinja 模板无编译缓存 — 属实
query/executor.py:92每次调用self._env.from_string(template.query),无复用。需补充一点:CLI 是单次进程,每次调用都会重建
QueryExecutor(core/query_service.py:115-117在execute_query内构造),所以此处缓存对 CLI 零收益,仅 MCP 长驻进程有实际意义。按 template name 加一个dict缓存即可,FileSystemBytecodeCache对此场景过重。问题 4:MCP 场景连接未复用 — 属实,且比描述的更严重
除了跨调用每次新建
Context,Context.connect()(context.py:106-125)在finally里调用self.close(),因此即使在单次execute_query内,schema 校验(_validate_schema)和实际查询也各自开关一次连接,即同一次查询打开两次连接。在
SnapshotAnalyzer/QueryService层按db_path做 LRU 缓存(maxsize=4,按 mtime 失效)方向合理,但必须先处理Context.connect()的关闭语义:缓存的Context若仍走finally: self.close()路径,下次复用时连接已关闭。实现时需要把「单次查询用完即关」与「长驻缓存持有」的连接生命周期分开。小结:四条问题均属实,优先级排序也合理。但问题 2 的 CTE 提案存在可验证的语义错误,问题 1 的 SQL 下推需先厘清
total字段取舍,问题 4 需先解决Context.connect()的关闭语义。建议这三点在动手前先定稿。perf(query): optimize query execution layer (#76) (#93)