Skip to content

[perf] 默认模式下 report / 解析复用会多次完整哈希整个数据集 #238

Closed as not planned

Description

@codeasier

父 issue:#235

问题

默认模式下,report 和解析结果复用会对每个分片做多次完整内容哈希。query_service.py:303 的 require_unchanged 贡献了其中两遍。compat 数据集到几十 GB 时,开销会非常明显。

复验(已验证)

  • 热态 report:每分片约哈希 3 次(1×inspect + require_unchanged 2×)
  • 冷态 report:约 4 次
  • 另:冷态 compat 校验相对修复前还多算了一遍内容哈希(dataset_resolver.py,compatibility_before)

建议

  • 同一次操作内校验 / 哈希一次即可
  • 默认模式下 require_unchanged 只比对 (inode, size, mtime_ns) / fingerprint,完整哈希留给 immutable 或显式校验

验收

  • 热态 report 对每个分片最多完整哈希 1 次
  • 内容未变时二次调用不重复完整 SHA256(或仅在显式模式下做)

Activity

  1. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    静态复核结论:正常两步 peak report 的默认热态3遍、冷态4遍完整哈希,可以从调用链确认;建议 P2,但应先明确完整性合同,再确定优化方式和验收口径。

    核验基准:main ffa71df。本轮只读分析源码/测试,未运行产品代码、测试、哈希插桩或性能复验。下述遍数是调用链推导;原报告的实测仍由原报告提供,不作为本轮新增性能测量。

    调用链:

    • peak_memory_report 先 _resolve_query/inspect,随后 allocator_gap 和 event_attribution 两步都传入共享 _resolved。
    • execute_query 每个组合步骤结束都会 require_unchanged,所以正常有峰值时有两次 guard。
    • 默认 guard 重新计算全部 manifest/member 内容 fingerprint,覆盖全部设备和分片,不仅当前选中的 device/slice。
      来源:report_service.py:121–175、query_service.py:300–303、dataset_resolver.py:61–75、232–247。

    默认模式、内容未变时:

    • 同进程热 inspect:1遍;两次 guard 后合计3遍。
    • 冷 compat inspect:校验前1遍+校验后1遍;冷 native validator也有前后两遍,fingerprint复用已验证摘要。加两次 guard 后合计4遍。
    • 没有峰值、第一步提前返回时只有一次 guard,合计热2遍/冷3遍。
    • 普通独立 execute_query 没有共享 _resolved 时,不加上述组合 guard。每个新 CLI 进程仍为冷态。
    • 这些是完整哈希的逻辑读取量;OS page cache 可能减少实际物理磁盘读取,不能直接称磁盘必然读取3/4遍。
      来源:dataset_resolver.py:294–361、现有内容缓存计数测试:33–62。

    需要校正的修复边界:

    1. “完整哈希留给 immutable”与当前设计相反。immutable 是调用方明确承诺最终产物不可变、并信任 POSIX change-time 后,允许热路径和 guard 跳过内容哈希的显式模式。
    2. 默认强验证覆盖“内容变化但所有 change token 被隐藏”的情况。把默认 guard 改为 inode/size/mtime,或只比较旧 fingerprint,会降低现有保证。当前元数据门禁还包括 dev、ctime、mode、nlink、目录/manifest、别名、sidecar和原生成员集合,不能缩成三元组。
    3. compat冷态额外前置哈希是为了将 validator 夹在前后内容证明之间,防止混合版本结果进入强缓存;是明确增加的安全成本。
      来源:完整性与immutable合同:199–244、隐藏change token仍须检测变更的guard测试:369–380。

    建议先建立可验证的操作级稳定读取/快照边界,再考虑合并重复证明。只把两个中间 guard 合并成最终一次,也改变中途变更的检测时机,需要针对性回归;“热report最多1遍、二次未变不再哈希”与当前默认强验证口径有冲突,应先明确设计取舍或显式opt-in。

    现有 immutable 可用于确实满足合同的受控最终产物,不能用于仍可能被GUI/其他writer原地修改的数据。#227引入组合报告guard,#230为安全缓存增加compat前置哈希;#234为文档提交,本问题属于此前设计成本,非其引入的运行时回归。以上未实施修复。

  2. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    确认:同意调用链与完整性合同分析,建议 P2;并撤回此前正文中「默认 require_unchanged 只比 inode/size/mtime、完整哈希留给 immutable」的建议。

    核对结论:

    • 正常两步 peak report 在默认模式下热态约 3 遍、冷态约 4 遍内容 fingerprint 的调用链成立(_resolve_query + 两步 require_unchanged;冷 compat 另有校验前哈希)。
    • immutable 才是显式跳过内容哈希的 opt-in;把默认 guard 改成仅比元数据会削弱现有强验证(含隐藏 change-token 场景),与 docs/zh/sharded-snapshotdb.md 合同相反。compat 冷前置哈希是有意的前后夹心。

    后续若要减哈希遍数,须先明确完整性合同(操作级快照 / 显式 opt-in / 或合并中间 guard 并补中途变更回归),不能在保持现有语义的前提下当作小优化落地。

  3. codeasier commented on Oct 11, 2026

    @codeasier
    OwnerAuthor

    设计决定(已确认):保留默认 strong 完整性合同,进一步减少整遍扫描暂不实施;本 issue 以 not_planned 收尾。

    • 原验收“热态 report 每分片最多完整哈希 1 次”“内容未变时二次调用不重复完整 SHA256”仍未实现,不按性能修复或验收通过记录。保留正文与既有讨论,作为历史问题和取舍依据。
    • 保留全部现有检查点:冷态 compat 的 validator 前后内容夹心、每次默认复用的内容验证、peak 后 guard1、attribution 后 guard2,以及完整 manifest / 所有设备成员范围。guard1 对中途变更的拒绝不能由最后一次 guard 替代,包括内容原可在 attribution 时恢复、且全部 generation token 被隐藏的情况。
    • PR #247 补充的是计量和完整性回归,未修改产品源码。其现有实测为正常报告 cold 4(B+M)、warm 3(B+M),无峰值分支 cold 3(B+M)、warm 2(B+M);B 是全部成员字节数,M 是 manifest 字节数。这是逻辑哈希读取量,不是物理磁盘 I/O 或耗时承诺。分阶段计量及变更回归
    • 已有 PT_SNAP_DATASET_CACHE=immutable 可由控制最终化、保证产物不再修改且信任 POSIX change-time 的调用方显式启用。它允许同进程 warm / guard 跳过完整哈希,仍检查路径、sidecar、成员和元数据;不得用于 live writer、可能原地修改或不可信 change token 的文件系统,也不提供并发 writer 锁、原子快照或跨进程缓存。现有合同与成本

    对 1a54337b 调用链的只读复核未找到可直接删去整遍哈希、同时保留上述全部检查点的小改动;同阶段已有摘要复用已经实施(compat 复用 manifest 摘要,native fingerprint 复用 validator 已验证的 shard 摘要)。未来若重新推进更低扫描目标,需要另行明确并批准稳定读取或信任合同,本次不引入新模式、不降低默认保证。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions