Repository navigation
Closed
6 / 66 of 6 issues completedDescription
最终验收状态(2026-10-11 UTC):有限范围汇总完成
本汇总项按已确认的范围关闭为 completed。本节取代下方历史正文中的“保持开放”和“尚未闭环”状态;历史问题、复现和分阶段记录完整保留。
- [H3] v1
_traces的SELECT *拉取 inline callstack 文本,耗尽字节预算 #220、[H4] peak-memory report 对同一范围扫描两遍并共享预算,且重复 inspect #221、[H5] callstack_analysis / active_*_at_event 重复取数,有效预算减半 #222、[测试] 分片夹具布局不真实,缺少属性测试和超预算规模测试 #223 已关闭,分别完成窄列投影、report 复用、单次操作来源复用,以及真实布局/默认规模/安装包与严格差分验收。 - [H1] 全局查询全量取行到 Python,被硬编码工作预算卡死 #218 已按有限查询与资源契约完成:默认规模六模板与 >ATTACH 归约已有证据,保留合理预算失败;scratch 页限额不是总磁盘/RSS 限额,正常异常清理已覆盖,强杀清理不承诺。详见 #218 最终状态。
- [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219 已按认可的双模式契约完成:默认 strong warm 完整 hash + 不重复 validator,为 O(bytes + shards);immutable 仅供可信不可变发布显式 opt-in,元数据复用为 O(shards)。新 CLI 可 cold、无跨进程持久缓存,两模式均不保证原子 snapshot。详见 #219 最终状态。
- test: close bounded-query and integrity-mode acceptance gaps (#218, #219) #233 将 41 项收尾回归([H1] 全局查询全量取行到 Python,被硬编码工作预算卡死 #218 的 5 项 + [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219 的 36 项)与双语边界说明合入 main
39fefd1dad820f3262604f0dc9fb9bf9811a248a(treefdd05481d3e467f2546d52bda2dc2b61dabe1d61)。合并前 CI 38104812415 七项通过。合并后精确 main 提交的 CI 38105436746 也已成功,七项检查通过;新增回归在四个 Python 版本均通过,浏览器与打包来源验收通过。 - 既有 4000/4000 exact、500k/片和 >ATTACH 规模实验继续作为注明版本与环境的历史证据;不声称此次重新跑完所有大规模安装包实验,也不外推通用延时/内存保证。
#197 的固定版本真实 GUI 验收独立继续,不作为本项关闭条件。本次关闭不表示 live capture、上游 producer 或 GUI 已验收,也不新增这些路线。
现状更新(2026-10-11 UTC)
本 issue 保持开放,作为 #218 / #219 剩余范围的总跟踪。下方原始问题与历史评论保留用于追溯;其中“默认规模六模板全部失败”“修复 PR 均未合并”“超过 ATTACH 上限仍必然回退旧算法”等描述是旧版本状态,不再代表当前 main。
已完成并合入
- [H3] v1
_traces的SELECT *拉取 inline callstack 文本,耗尽字节预算 #220 → fix: narrow dataset trace projections (#220) #224:窄列投影,避免无用 inline callstack 放大字节预算。[H3] v1_traces的SELECT *拉取 inline callstack 文本,耗尽字节预算 #220 已关闭。 - [H5] callstack_analysis / active_*_at_event 重复取数,有效预算减半 #222 → fix: reuse budgeted dataset event sources (#222) #225:单次操作内复用已计费的事件来源,延迟页内帧读取。[H5] callstack_analysis / active_*_at_event 重复取数,有效预算减半 #222 已关闭;必要的 block/source 读取仍须计入真实成本。
- [H4] peak-memory report 对同一范围扫描两遍并共享预算,且重复 inspect #221 → fix: reuse a pinned query operation for peak reports (#221) #227:report 复用峰值计算与同一代际、预算及截止时间,含 NULL peak 语义修正。[H4] peak-memory report 对同一范围扫描两遍并共享预算,且重复 inspect #221 已关闭。
- [测试] 分片夹具布局不真实,缺少属性测试和超预算规模测试 #223 → test: validate realistic and default-scale dataset queries (#223) #229:真实生命周期布局、默认 500k/片规模与非 editable 安装包验收、SQLite 精确舍入一致性。[测试] 分片夹具布局不真实,缺少属性测试和超预算规模测试 #223 已关闭;最终安装 wheel 扩展差分为 200 seeds × 20 shapes、4000/4000 exact,第一方离线 importer→exporter→CLI/API 通过。
- [H1] 全局查询全量取行到 Python,被硬编码工作预算卡死 #218 → fix: push bounded dataset-global queries into SQLite (#218) #228 / feat: bound many-shard lifecycle queries with private scratch storage #231:六类有界全局查询已有 SQL 下推;两个各 500k 事件分片在默认预算下通过。超过实际 SQLite ATTACH 上限的生命周期查询已有私有磁盘 SQLite 归约路径,不能继续沿用“必然回退旧算法”的结论。
- [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219 → fix: make dataset validation cancellable and cache reuse explicit (#219) #226 / perf: reuse content-verified dataset validation in process #230:验证可取消、轻量补全、显式 immutable 缓存及默认同进程 content-verified 缓存已合入。#230 最终合入与验收覆盖此前 PR body 的待验证状态。
保留范围
- [H1] 全局查询全量取行到 Python,被硬编码工作预算卡死 #218:高基数堆栈、大 offset、无界输出及 ordered-frame 回源仍受 fetched/output 行数与 serialized-byte 预算约束。scratch 默认 512 MiB 仅限制派生 main 数据库页,journal/sort/temp 与 RSS 另有开销;异常进程终止的清理仍不保证。需要继续界定这些边界,而非取消保护或承诺任意规模必过。
- [H2] 每次查询(含 tab 补全)都完整校验并哈希整个数据集,且不可被超时中断 #219:默认 warm 命中仍完整哈希全部成员,复杂度为 O(bytes + shards);新 CLI 进程仍 cold。完整内容验证、冷启动成本与缓存/快照契约仍待跟进,不能把元数据签名当作无条件完整性证明或原子快照。
- feat: bound many-shard lifecycle queries with private scratch storage #231 的 6M 事件 / 12×500k 及 39M 观察实验和最终合入证据已完成;查询实验使用 300s deadline,冷 inspect 另计,整进程 RSS 含验证阶段。这些是指定环境、夹具的观测,不是通用延时、内存或默认端到端保证。
本总 issue 的收尾依赖 #218 / #219 的具体剩余项;本次只同步状态,不新增独立功能或扩大 roadmap。离线验收不等于 live capture、上游 msinsight producer 或 GUI 验收。
原始问题记录(保留历史描述)
概要
审阅了分片互操作相关实现(#198–#205)。合并语义正确:用随机差分(200 个种子 × 20 种查询形态,分片结果 vs 单 DB 结果)验证,0 处不一致;全量 pytest 1927 passed,ruff / black / basedpyright(0 errors)通过。
但全局查询在真实规模数据上基本不可用:按 msinsight 默认导出参数(每分片 50 万事件,msinsight_export.py:38),连单分片 memory_peak 也会报 work budget exceeded。
高优先级(均已用脚本复现)
H1 全局模板全量取行到 Python,被硬编码预算卡死
- 位置:
dataset_global.py:71-78(_tracesSELECT *全范围)、:81-96、:149-177、:180-188;dataset_sources.py:63-88;dataset_support.py:26-27(10 万行 / 64 MiB) - 复现:12 万事件 / 2 分片,
memory_peak、event --limit 5、allocation、callstack_analysis、block、leak_detection全部work budget exceeded;25 万事件单分片 +slice_index=0的memory_peak也失败 - 预算不可配置;导出时建的 metric 索引(
msinsight_export.py:143)查询路径未使用 - 建议:计算下推到每分片 SQL 再合并(峰值用
MAX+MIN(id);栈统计每分片GROUP BY callstack后求和;event/allocation 每分片ORDER BY … LIMIT offset+limit后多路归并;block 用 SQL 按 id 去重);预算只计输出与源行,并可配置
H2 每次查询(含 tab 补全)都完整校验并哈希整个数据集
- 位置:
query_service.py:236、dataset_resolver.py:153-167、dataset_contract.py:418-454(逐行 Python 循环 + 全量identities字典)、completion.py:78-82 - 复现:100 万事件 / 100 万 block,
inspect约 5.0s、RSS 约 300 MB;timeout_s=2的查询实际 5.4s 才超时(校验阶段不可中断);report peak-memory调用 3 次inspect - 读代码推测:native 每分片哈希两次(
native_dataset_contract.py:313与 resolver),另有PRAGMA quick_check和全事件 IDset(:316) - 建议:按 (inode, size, mtime_ns, manifest hash) 缓存校验结果;查询时只做 schema +
COUNT/MIN/MAX轻量检查;逐行生命周期检查移到 import 或独立validate命令;补全路径不做完整校验
H3 v1 _traces 的 SELECT * 拉取 inline callstack 文本
- 复现:栈长 8 KB 时,1 万事件
memory_peak即超出 64 MiB 字节预算(4000 事件可通过) - 建议:只取需要的列(
id, allocated, active, reserved,event 模板再加所需列)
H4 report 对同一范围扫描两遍并共享预算
- 位置:
report_service.py:89-140,memory_peak与allocator_gap扫同一范围,后者结果已包含前者 - 复现:6 万事件时单独
memory_peak成功,peak_memory_report失败 - 建议:只跑
allocator_gap,峰值从其结果取;inspect只做一次(同时避免多次 inspect 间 fingerprint 变化导致数据版本不一致)
H5 重复取数使有效预算减半
dataset_global.py:287-291:callstack_analysis先_traces再sources.events()按批重取同一批事件;6 万事件即失败(同规模memory_peak成功)。_events在order_by=callstack时同样重复取数dataset_attribution.py:28-41:active_*_at_event活跃 block 与其源事件都计入预算,约 5 万活跃 block 失败(3 万可通过)
中 / 低优先级
- 测试夹具不真实:
tests/core/test_dataset_attribution.py:33-53的case()给 8 个分片塞同一张 block 表(后续分片才分配的 block 也出现在第 0 片),测不出"归属分片找漏 block"类错误。建议加入真实布局的随机差分属性测试 - 缺少规模测试:没有超出预算规模的测试;
docs/dataset-performance-baseline.json只用 581 KB 夹具;文档未说明默认导出规模下查询会失败 - (读代码推测)dataset 版
leak_detection要求最后分片state in (0,1)(dataset_global.py:258-260),standalone SQL 无此条件;出现state=-1且free=-1时两者结果不一致 - (读代码推测)
unproved身份包含分片号(dataset_global.py:210),同一 block 会按分片各出一行 - (读代码推测)
msinsight_export.py:92-110将一个 device 全部事件 ID 放入 Python list 校验,内存随事件数线性增长;可改为每分片 SQLCOUNT/MIN/MAX - 预算超限报错有时带
Query execution failed:前缀、有时不带,取决于抛出层级
建议优先级
先处理 H1–H4(SQL 下推、只取所需列、缓存校验结果、去掉 report 重复扫描、预算可配置),再补真实布局属性测试和规模测试。
Metadata
Metadata
Assignees
Labels
No labels
Activity
_traces的SELECT *拉取 inline callstack 文本,耗尽字节预算 #220codeasier commentedon Oct 10, 2026
2026-10-10 源码安装后的复核汇总:H1–H4 的主要现象已复现;H5 需把“真正重复读取”与“读取不同 block/source 记录的累计成本”分开。测试未修改产品代码、未推送修复,也未执行不可信 pickle。
基准:main
7c33464906aced190698452ebb3a8de8e8e9ab05;Linux x86_64、Python 3.12.14、SQLite 3.53.1;安装版本0.4.0.post1.dev31。执行的是独立 venv 中非 editable 安装包及真实 console script,不是只测替换后的 helper:各子 issue 评论附本次命令/生成脚本与证据。SQLite 夹具是自行构造的 validator-accepted v1/v2 格式;其中 #218/#223 的成员布局按生命周期窗口组织,#219 的额外四片哈希计数夹具未补齐仍存活 block 的 carry-in,只用于检查调用量,不声称 exporter-faithful。没有把“合成数据库验证”称为真实 msinsight 生产采集/import 端到端验证。计时为本机观测,RSS 与预算 serialized bytes 是不同指标。
已复现
event(limit=5)也失败。250k单片+slice=0同样失败。再以真实默认片容量构造2×500k事件,六模板全部失败,真实CLI亦失败。单独500k成员DB的峰值查询成功,说明问题在dataset路径,成员结果不代表全局结果。_traces的SELECT *拉取 inline callstack 文本,耗尽字节预算 #220:10k事件×8KiB ASCII栈,在8192行、68,252,375 serialized bytes处失败;同10k事件×16-byte栈成功。4k×8KiB成功。峰值路径SELECT *引入无用栈列,因果明确。测试与原文需要收窄的表述
建议落地顺序
以上为复现及修复建议,不是已完成修复或全套pytest通过的声明。
codeasier commentedon Oct 10, 2026
修复 PR 与验收汇总(2026-10-10)
已逐项提交草稿 PR,均未合并:
_traces的SELECT *拉取 inline callstack 文本,耗尽字节预算 #220 → fix: narrow dataset trace projections (#220) #224:按模板窄列投影。依赖顺序:#224 → #225 → #228;#224 + #226 → #227;#228 + #227 → #229。为运行仓库面向 main 的 CI,各 PR 暂以 main 为目标,依赖变更因此出现在累计差异中;先审阅/合并依赖,再复核后续差异。
六个 PR 当前提交均通过完整 CI:
c5ed2a8:run 340eda4916:run 34232639e1:run 343ad9964b:run 34498fac13:run 345b05cb2e:run 346最终集成证据
源码 tree
555eba3ca0a94690fd477392336f832985dec08b:本地 2048 passed、1 skipped(安装 wheel 验收另跑);安装 wheel 的 200 seeds × 20 查询形式全部 4000/4000 严格一致;可信生成 500002 事件,经实际 importer 和默认 500000 容量 exporter 后,对 500000 + 2 两片运行安装后的 CLI/API/report 验收通过。原两个各 500k 事件分片的六类有界查询在默认预算下通过。未通过放宽预算或数值容差获得这些结果。尚未闭环的范围
PT_SNAP_DATASET_CACHE=immutable、调用者保证不可变发布及可靠变化时间语义时启用;不承诺并发写入快照安全。不把元数据签名当作无条件内容完整性证明。因此 #217、#218、#219 保持开放跟踪这些具体剩余项;其余关闭关联仅在相应 PR 实际合并时生效。
codeasier commentedon Oct 11, 2026
2026-10-11 汇总收尾:#233 已合入
39fefd1dad820f3262604f0dc9fb9bf9811a248a,main CI 全部通过。#218、#219 已按确认的有限验收契约关闭,连同已完成的 #220/#221/#222/#223,本汇总项关闭为 completed。完整边界与证据在正文顶部,历史记录保留。#197 独立继续,其真实 GUI 验收不作为本项关闭条件。