Skip to content

decision request: #4788 Fix direction for memory growth and request latency in long sessions (retention cap / envelope w | decision request: #4788 长会话内存增长与请求延迟的修复方向(保留上限 / envelope 写入默认 / 超预算驱逐策略) #4792

Closed

Description

@ranxianglei

(ai: vllm-qwen/qwen3.8-27b)

来源: #4788 分析 v0.1.208 长会话内存/延迟问题时发现(完整测量数据见 #4788 最新评论)。本 issue 汇总三个需要 owner 拍板的修复方向,等决策后单独立项实现。[no-dispatch]

背景一句话

v0.1.208 上 7k+ 消息的长会话:进程堆在 ~58MiB 线上历史时稳定停在 3.2–3.4GiB(约 55 倍),默认 V8 堆上限下实测直接 OOM 崩溃;每轮请求墙钟时间的大头花在 handoff 之后的异步持久化(全量 buildRecord + SQLite 增量 ingest + ~200MiB 旧式 JSON envelope 整文件重写),而 local= 指标到 handoff 就截止,这段对使用者不可见。现有两个旋钮只能缓解延迟,压不住内存。

已测数据摘要(v0.1.208 干净构建,Linux/Node22,合成负载 ~2480 msgs / 58.5MiB inbound,12 轮稳态 × 4 配置,同一快照起跑)

配置 local= 中位 每轮周期 驱逐/冷载 峰值堆
writer ON + 512MiB 预算 3.05s 9s 是(677MiB>预算) 3.28GiB
writer OFF + 512MiB 8.31s 16s 是 3.39GiB
writer OFF + 4GiB 6.09s 10s 否 3.28GiB
writer ON + 4GiB 1.40s 8s 否 3.24GiB

另:增长期(真实追加+折叠)handoff 后持久化腿实测 ~5.9s/轮;默认 4GiB 堆下 46.8MiB inbound 处 OOM 死亡(崩在字符串分配点)。四种配置峰值堆几乎相同 ⇒ 内存问题与这两个旋钮无关。

待决策项

D1 驻留会话状态保留上限(OOM 根因,最高优先)

  • A) 给会话驻留权重设硬上限,超限先把块内容/元数据溢写回存储(复用已有 dropResidentBlockContents / dropResidentMetadata 机制)——推荐:有界、机制现成
  • B) 内容存储按预算 LRU
  • C) 不修代码:文档化内存模型(驻留 ≈ N× 线尺寸)+ 要求用户自调 --max-old-space-size——成本最低但 OOM 类不变

D2 统一存储 full 模式下旧式 JSON envelope 写入默认值

现状:storage.unified=full 仍默认每次保存把 ~200MiB envelope 整文件重写一遍(磁盘证据:文件 mtime 随每次保存推进,replay 轮也会触发)。

  • A) 维持默认 ON——推荐(在 D1 落地前):本轮实测 writer OFF 在稳态请求上反而慢 +4.7~5.3s(同步 guardedBuild 路径 + 额外内存释放趟)
  • B) 翻转为默认 OFF:省磁盘/IO;代价:稳态延迟上升、必须独占会话目录、SQLite 成为唯一副本
  • C) 改增量 envelope:新工作,非现有开关

D3 单会话超过驻留字节预算时的驱逐策略

现状:weight(实测 677MiB)> 预算(默认 512MiB)时,每个请求结束即驱逐、下个请求冷载(#3918 有诊断无修复;文档说「预算限制的是空闲缓存不是活跃工作负载」,但唯一会话超预算时会 ping-pong)。

  • A) 提高默认预算(如 2GiB 或按内存比例)
  • B) 超预算的唯一/活跃会话钉住不驱逐——推荐:贴合该注释本意
  • C) 维持现状 + 文档说明

顺带观察(不阻塞,供参考)

建议实施顺序

D1-A(止血 OOM)→ D3-B(止 churn)→ D2 视 D1 结果再定。

Activity

  1. changed the title [-]decision request: #4788 长会话内存增长与请求延迟的修复方向(保留上限 / envelope 写入默认 / 超预算驱逐策略)[/-] [+]decision request: #4788 Fix direction for memory growth and request latency in long sessions (retention cap / envelope w | decision request: #4788 长会话内存增长与请求延迟的修复方向(保留上限 / envelope 写入默认 / 超预算驱逐策略)[/+] on Oct 26, 2026
  2. ranxianglei commented on Oct 31, 2026

    @ranxianglei
    OwnerAuthor

    三项决策已由后续已合并的工作自然消解,无剩余选择项,关闭对账:
    D1-A 已落地:持久化层请求间隙溢写 + BILI_SESSION_RESIDENT_HARD_MAX_BYTES 硬上限(含 durableRevision 证明门),随 C 类整合入 master。
    D3-B 随 D1-A 一并实现:唯一/活跃会话豁免池驱逐(钉住),超限走块内容溢写而非整会话冷载乒乓(#3918 场景即此语义)。
    D2-A 即现状:full 模式下旧式 JSON envelope 写入维持默认 ON(实测关闭反而慢 4~5s/轮);翻转只是配置动作,无需立项。
    残留二期 TODO(不阻塞本单):state/contentStore/transient 等不可溢写字段的逐字段释放,如需再单独立项。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions