Skip to content

[FEATURE] 持续倒序回放生成分片 DB,并最终化跨片 block 生命周期 #199

Closed

Description

@codeasier

父 roadmap:#197
实施阶段:P1
依赖:#198

范围:一次加载与持续模拟器状态,多库写入、左边界重建、跨片 block 回填和稳定身份。

功能描述

在现有 snapshot 模拟器和数据库 adaptor 中支持可暂停倒序回放,以持续状态生成多片数据库,替代 split 后分别 import 的实现路径。

使用场景

事件 100 申请的 block 在 [500,999]、[1000,1499] 等后续分片仍然存活,需要所有分片最终引用同一真实申请事件,而不能成为多个无来源静态块。

期望的实现方式

  • 为每设备维护一个持续模拟器;提取复用现有单事件执行逻辑的 replay_until(),保留 hooks、计数器与错误语义。
  • 从末片向前回放,每次更换 writer,不重新加载 snapshot、不独立重建每片模拟器。
  • 写入本窗口真实事件、左边界活跃 block 和 segment 重建所需负 ID 模拟事件,明确事件前/后时刻语义。
  • 增加跨片 block registry。先登记待解析身份,遇到真实 alloc 后批量回填已写各片的 id/allocEventId;保留 free_requested/free_completed 与 pending-free 的正确区别。
  • 最终化仍无申请事件的 block 身份,保持各片引用一致;地址复用及不同 stream 不能误合并生命周期。
  • 已完成回填与校验的 ID 才可作为公开稳定身份;首版不发布仍在变更的 ready 片。
  • 每个 writer 在切换、异常、失败回填时显式关闭连接。保留当前单库 import 路径及 v1/v2 读取合同。
  • pickle 仍可能整体加载,分库只限制单库事件量,不声明实现流式 pickle 或降低加载峰值 RSS。

验收标准

  • 同一 snapshot 单库/分库在对应真实事件上的 allocated/active/reserved 计数器一致。
  • 活跃 block 集合、size/requestedSize、segment 状态与单库基准一致。
  • 覆盖跨多片生命周期、地址复用、pending-free、预存/静态 block、expandable segment、多设备和 OOM/workspace 合法事件。
  • 最终产物无未完成回填;失败不会发布可被误认作完成的产物。
  • 重复暂停/继续与完整 replay 行为一致;连接正常关闭。
  • 变更 snapshot 实现时追加来源记录,独立记录上游借鉴内容与本地实现。

参考资源

Activity

  1. codeasier commented on Oct 4, 2026

    @codeasier
    OwnerAuthor

    Issue review

    Reality: 真实能力缺口,非现有 split 违约:目前仅全量回放/单库 writer。构造快照的内存检查中,alloc=100 的块在两后续窗口成为不同负 ID,alloc/free 均为 -1,真实事件计数仍与单库一致。

    Reasonableness: 持续状态、生命周期最终化及校验后发布合理;但只回填 id/allocEventId 不够:片外 alloc 未落在本片时,现有 JOIN 仍得 missing callstack。需对齐 #198 的引用解析合同,freeEventId 不能改成 free_requested。

    Boundary: 限定回放、多 writer、registry 与最终校验;身份按 snapshot/device/stream/生命周期区分,负 ID 不冒充真实申请事件。保留单库 import、pickle/JSON split 和 v1/v2 读取;明确暂停端点及事件前后语义,补回填失败/连接关闭测试,不提前发布、不承诺流式 pickle 或 RSS 降低。

    Evidence:

    Limitations: 基于 0924415。已做静态审阅及内存回放/SQLite JOIN;未跑 pytest、落盘 split/import,也未验证大快照、暂停续放、发布失败与 writer 关闭;#198 和 msinsight 源码/许可未核查。

  2. codeasier commented on Oct 8, 2026

    @codeasier
    OwnerAuthor

    代码已由 #216 合入 origin/main(9 commits 链,tip 7c33464)。按维护决定先关闭本 issue;PR #216 中声明 deferred 的 GUI / C++ server / 安装 wheel 人工验收,以及 #217 系列默认规模不可用问题,另行跟踪。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions