Skip to content

[cleanup] #217 遗留低优先级项:leak state 条件、unproved 身份、导出内存、报错前缀 #240

Closed

Description

@codeasier

父 issue:#235
来源:#217 中未处理的读代码推测项,复验确认仍在。

项

  1. dataset 版 leak_detection 要求 state IN (0,1),standalone SQL 无此条件。位置:dataset_lifecycle_sql.py:117、dataset_lifecycle_scratch.py:164、dataset_global.py:310。出现 state=-1 且 free=-1 时两边结果可能不一致。
  2. unproved 身份带分片号:dataset_lifecycle_sql.py:98、dataset_lifecycle_scratch.py:139、dataset_global.py:261。同一 block 可能按分片各出一行。
  3. msinsight_export.py:92-110 仍把一个 device 的全部事件 ID 放进 Python list 再校验;可改为每分片 SQL COUNT/MIN/MAX。文件在修复期间未改。
  4. 预算超限报错前缀不一致:有时带 Query execution failed:,有时不带;复验两种文本都出现过。

建议

  • 对齐 dataset / standalone 的 leak 过滤条件,或写清差异文档并加差分用例
  • unproved 身份跨分片去重
  • 导出校验改为按分片 SQL 聚合
  • 统一错误包装层

验收

  • 对应差分或单测覆盖上述边界;报错文本统一

Activity

  1. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    静态复核结论:四个现象都能在源码定位,但建议拆开处理。exporter额外内存和错误包装可以独立优化;leak与unproved两项需要先确认语义,避免为了清理而改变已有正确性合同。

    核验基准:main ffa71df。本轮读完本issue及#217相关讨论,只读核对源码和测试,没有运行产品代码、测试、RSS测量或反例复验。正文“复验确认仍在”属于原报告,本轮结论限于静态证据。

    1. leak state条件:差异成立,生产缺陷尚未证明,建议P3。
      dataset的attached、scratch和Python fallback均要求终片观察、state为0/1且没有完成释放;standalone SQL没有state条件。格式层允许“已证明allocation、state=-1、free=-1”这一组合,因此可形成schema-valid差异,但不能据此认定真实replay一定生成。
      现有模板已公开声明dataset候选为active_allocated/active_pending_free。直接删除state条件会改变终片存活候选语义。建议先明确inactive+unknown-free合同,再补standalone/attached/scratch/fallback差分并决定是否统一。
      来源:dataset_lifecycle_sql.py:95–125、dataset_lifecycle_scratch.py:164–165、dataset_global.py:309–311、leak_detection.yaml:24–83。

    2. unproved带分片号:事实成立,但直接跨片去重缺乏依据,建议P3合同澄清。
      现有身份区分已证明alloc ID、alloc=-1的稳定负block token,以及unproved:slice::block:。后一类按片保留是明确文档化并有测试锁定的保守行为;#217原复核也已经指出。
      只有获得新的跨片身份证据后才能改变此规则。去掉slice维度、按地址或未证明alloc引用合并,可能错误合并地址复用或来源缺失的不同生命周期。
      来源:dataset_lifecycle_sql.py:95–99、文档:138–147、刻意保留6个unproved身份的测试:203–238、#217原复核。

    3. exporter全device事件ID list:确定的O(N)辅助内存,建议P2优先优化。
      msinsight_export先将每片真实ID扩展到同一个device级list,最后validate_event_ids;内存随设备事件总数增长,不受每片capacity封顶。本轮没有测得实际RSS、OOM阈值或默认规模失败。
      在真实INTEGER PRIMARY KEY保证下,可按分片顺序取WHERE id>=0的COUNT/MIN/MAX,维护next_expected=0,每个非空片验证min=next_expected、max=min+count-1,最终总数>0;同时保留分片元数据、逐设备隔离和action检查。不能只验证全设备COUNT/MIN/MAX,跨片缺口和重复可能相互抵消。
      还须保留全部输入校验通过后才开始转换的两阶段结构,并补跨片缺口/重叠/顺序、多设备、大量小片回归。该优化只消除额外ID list,不代表整个import/replay变成常量内存。
      来源:msinsight_export.py:84–114、连续ID合同:234–250。

    4. 预算错误前缀:成立,建议P3统一包装。
      普通source read将core预算异常转为ExecutorError,executor通用异常处理再添加“Query execution failed:”;attached/scratch和最终输出计费直接抛core预算异常,因而没有此前缀。同一查询也可能因首先超限的阶段不同而产生两种文字。
      建议保留领域异常,在统一边界格式化一次;覆盖普通read、attached、scratch、输出计费的精确文本与异常类型,并保留timeout专用类型。当前证据未显示此前缀差异会绕过预算或导致返回部分全局结果。
      来源:dataset_sources.py:175–208、executor.py:370–385、dataset_lifecycle_connection.py:69–87、dataset_global.py:601。

    以上为分析与建议,未修改代码、语义或issue状态。

  2. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    确认:同意拆开处理,不把语义项并进性能补丁。

    • exporter O(N) 事件 ID list:同意为确定的额外内存,可作 P2 独立优化;按片 COUNT/MIN/MAX + next_expected 校验连续 ID 的方向合理,且不能只用全设备级聚合(缺口与重复可能抵消)。
    • 报错前缀:同意机制与 P3 统一包装。
    • leak state IN (0,1):差异成立,但删除会改变已发布的 dataset 候选语义;先定 inactive+unknown-free 合同,再补差分,不要直接删条件。
    • unproved 按片身份:同意属文档化且测试锁定的保守行为;在缺少新的跨片身份证据前,不做跨片去重。

    以上均为确认,本评论不修改 issue 状态。

  3. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    验收结论(2026-10-11):#241、#242 和 #254 均已合入 main;按此前确认的拆分方案,本 issue 的四项完成收尾,关闭为 completed。

    1. exporter 事件 ID 校验(fix: bound exporter event-ID validation memory #241):按片 COUNT/MIN/MAX + next_expected 替代设备级 Python ID 列表,保留逐片缺口/重叠/乱序检测、主键与整数值校验、负边界排除、设备隔离、action 校验及全部输入先校验后转换。消除的是该校验的 O(N) ID 辅助列表,不将整个 import/replay 声称为常量内存。
    2. 错误包装(fix: preserve typed query errors without duplicate wrapping #242):已归类的 QueryExecutionError 直接透传,未知异常只包装一次;source/ATTACH/scratch/output 的预算报错一致,保留 timeout 子类、cause、无部分结果以及 CLI/API/report 的失败语义。
    3. leak 合同(test: clarify lifecycle contracts across all dataset query paths #254):采用本 issue 原建议中的“明确差异并补差分”方案。standalone SQL 仍按 allocation 引用非负与 free 引用 NULL/负数筛选,不检查 state 或 allocation action 证明;dataset 仍要求真实 allocation 证明、终片 state IN (0,1) 观察及无完成释放。inactive + unknown-free 是 schema-valid 合成差分反例,不代表真实 replay 会生成或已有 replay 缺陷;两种作用域都不确认泄漏。
    4. unproved 身份(test: clarify lifecycle contracts across all dataset query paths #254):保留 unproved:slice:<index>:block:<id>,不按同地址、同 block ID 或未经证明的 allocation 引用跨片合并。proved allocation 与稳定负 token 仍按各自合同归并,负边界事件不提供 allocation 证明。缺乏新身份证据时保留 shard-local,符合此前确认。

    #254 新增 15 项合同测试(12 个 leak 矩阵、2 个 identity 场景、1 个公共 metadata 测试)。差分实际执行 standalone、ATTACH、scratch 与 bounded Python fallback;三条 dataset 路径结果与语义 coverage 一致,计划不同导致的 source_queries 单独核验,standalone 有意差异单独断言,并检查源文件 hash 不变。测试;中文合同。

    本次语义收尾只增加文档、interpretation_limits 和测试;SQL、参数、输出字段/类型、运行时代码与 semantics_version 均未改变。保留 leak 的 state 条件与 unproved shard-local 身份。

    最终核验基准:main 55b5981fc03df93a60b809153e8abee5f980ed29,tree 0cb5141d79182d4ff4a5ad1dfdea1bf800ebea9b。PR CI 与 main push CI 均终态成功,各 7/7 jobs。Python 3.10–3.13、lint、provenance、独立 Chromium 均通过;main 的 Python 3.13 为 2619 passed / 15 skipped(646.09s),branch coverage 93.18%,三项关键 coverage 门槛 92%/90%/85% 通过,wheel build/source audit/clean-wheel Agent acceptance 实际成功。15 skipped 未计为通过;浏览器在独立 job 实际执行 19 passed(7 provenance + 12 browser)。

    本评论记录最终验收与范围;保留原正文、原验收描述及历史讨论。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions