Skip to content

0.1.212 still reproduces the structural issue from #4528: single-request local preprocessing peaks at 144.7s; conversati | 0.1.212 仍复现 #4528 的结构性问题:单请求本地预处理最高 144.7s,关闭插件后对话明显变快 #5869

Open

Description

@loyalchiiina

TL;DR — 0.1.212(含 #4544 的止血)仍复现 #4528 的结构性开销:每轮对 inbound 全量做同步 O(messages) 扫描,单请求本地预处理最高 144.7s,3 天累计 253 分钟;期间单事件循环被占死,所有并行会话和内置 Web UI 一起排队。关闭插件后对话明显变快。

环境

  • billion-context 0.1.212(dist build-info commit daa082ea),lane dsh
  • the agent harness Desktop(Electron)桌面端;Windows 11;单 bili 进程
  • 上游:本地 OpenAI 兼容中转;客户端 dsh
  • 统一存储(unified storage,index.db)

现象

  • 近几天对话“思考/响应”明显变慢;禁用 billion-context 后明显恢复。
  • 一条 1000–1600 条消息的会话,每轮本地预处理 20–100s;短会话也一起卡。

测量(近 3 天,1614 条 request: 记录,753 条 slow-session 告警)

  • local=:p50 201ms / p90 40.3s / p99 85.2s / max 144.7s
  • 累计本地时间 253 分钟(平均 9.4s/请求)
  • slow-session:≥20s 132 次,≥60s 29 次
  • 按消息数分桶(p50 / p90):0–100 条 → 468ms / 47.1s;100–300 → 208ms / 45.1s;1000–1500 → 287ms / 44.0s
    (注意:0–100 条的短会话 p90 也 47s ⇒ 单事件循环被别的长会话拖住,不是它自己的开销)
  • 典型日志:
slow-session: 1603 msgs / inbound=4.9MiB took local=85268ms — per-turn O(messages) synchronous scans are starving the event loop (#4528)
request: 331 msgs, inbound=3.6MiB, outbound=453.9KiB, local=124ms
  • 最惨会话(id 已截断):session-97736fd1… 1603 msgs / 87.7s(240 次告警);session-080b390d… 91.4s;pfa-a7f6d52e… 1600 msgs / 101s;session-77fb6c95… 4890 msgs / 55.8s(296 次)

存储 / 内存

  • 会话库 6.08GB,index.db 单文件 5.32GB;单会话状态 JSON 最大 27.7MB
  • retrieve 缓存 3332 文件 / 1.11GB;prefix-affinity.json 4.36MB
  • 常驻池约 50–55 会话(budget 512MB),日志频繁 evicted … from resident pool

判断

建议(#4528 评论中的 ②)

  1. 为每条消息的派生数据(messageRefs / tokenSnapshot / 折叠块映射 / 扫描结果)做记忆化 + 增量,只处理新增消息;或把重活放 worker_threads 异步,主循环 await。
  2. 请求热路径避免遍历全量会话(面板每次刷新 mergedSummaries 都会全量合并)。
  3. 超大会话(>1000 条)分段/流式扫描,并设单轮时间预算上限。

附带 UI 语义问题

  • 面板「运行中」= 会话压缩状态常驻内存(mergedSummaries 对内存会话统一 live=true),与 the agent harness 的会话归档无关;因此大量已归档会话仍显示“运行中”,容易误判成卡住的进程。建议文案改为“驻留/实时”,或区分“实体运行中 / 仅缓存驻留”。

Activity

  1. changed the title [-]0.1.212 仍复现 #4528 的结构性问题:单请求本地预处理最高 144.7s,关闭插件后对话明显变快[/-] [+]0.1.212 still reproduces the structural issue from #4528: single-request local preprocessing peaks at 144.7s; conversati | 0.1.212 仍复现 #4528 的结构性问题:单请求本地预处理最高 144.7s,关闭插件后对话明显变快[/+] on Nov 7, 2026
  2. ranxianglei commented on Nov 7, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:与 #5744 同族——同症状、同构建、根因已采样钉死且修复在途(PR #5755)。判定「同族、后到」,按先来后到并入先到线程交叉链接;不关闭(关闭权在你)。

    最近邻逐一比对:

    结论:核心性能诉求并入 #5744(同症状先来后到),本线程不另开并行 PR(one-fix-PR-per-thread;确认机制的修复已在 #5755 在途)。你的三天测量数据(253 分钟累计、分桶表、最惨会话清单、存储体量)已作为补充数据点补到 #5744 下。

    标签(镜像 labels API 未实现,行内报备):bug / dsh / scope/storage / p1 —— 每轮 20–100s、全部并行会话 + Web UI 一起停摆,属「体验毁灭」级(p1 口径);机制主战场为统一存储写路径,scope 对齐 #5744。

    下一条回复给结构化八问 + 两项待你拍板的事项(#4528 遗留的方向决策、一个我在代码里核实过的面板文案问题)。

  3. ranxianglei commented on Nov 7, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    🔶 需要决策

    背景一句话:写侧 O(全历史) 正在由 PR #5755 修复;它合并后,非 fastpath 队列(水位快路径目前 ~5% 灰度,约 95% 安装不在其中)的主导成本将变成 #4528 早已识别、只做过 yield 从未结构性修掉的读侧 O(n) 扫描 pass——当年留给你拍板的方向至今未决,这第三次复现(3 天 / 253 分钟 / max 144.7s)说明该拍了。

    待决问题:读侧 O(n) pass 走哪个结构方向?

    推荐:先 A(#4528 分析时已论证过收益/风险比优于 B),A 落地后再评估是否需要 B;若你要最小面,C 可接受但残留慢仍在。
    不决定的默认行为:不动结构层(架构级,不拍板不开工);#5755 独立推进,CI 绿即可合并。


    本线程 triage 的结构化八问

    1. 是什么问题:0.1.212 上长会话每轮本地预处理几十秒(max 144.7s,3 天累计 253 分钟),期间同进程全部并行会话 + Web UI 一起排队;禁用插件即恢复。
    2. 什么原因导致的:每轮 O(全历史) 同步工作占主线程。同构建的姊妹线程 0.1.212: per-turn ingest is still O(history) — 96.5% of proxy CPU in StatementSync.run, event loop starves with 8 concurrent sessions (#4528 / #5469 follow-up) #5744 采样把 96.5% 自耗时钉在写库路径(refs/ccr_entries/blocks 三表每 save 全删全插);Long sessions starve the event loop: a 4,600-message session blocks the proxy and the web UI for 7–50 s per turn #4528 另识别了读侧多条 O(n) pass(~1.5ms/条 × 多 pass,[PR] fix(#4528): yield to the event loop during long turns; warn on slow sessions #4544 只 yield 未根治)。你的分桶数据(短会话 p90≈长会话 45s)是共享事件循环饥饿的签名,无新机制迹象。
    3. 影响范围与严重程度:与超大会话同进程的所有会话(你约 50–55 个常驻);严重度 = 体验毁灭级(p1):单 turn 20–100s、UI 整体冻结;模型流量本身不受损,只是慢。
    4. 怎么修复的:本线程未另开修复——确认机制的修复已在 PR [PR] fix(storage): refs ledger diffs instead of full-replace per save (#5744) #5755 在途(写库三腿改 O(diff),delta 车道稳态 ~4130 stmts/save → ~15,与历史长度解耦;最新 head CI 运行中零失败)。等待路径:合并 [PR] fix(storage): refs ledger diffs instead of full-replace per save (#5744) #5755 → 发版 → 你的实例复测;残留慢则指向读侧 pass(上方决策)与驱逐重载([perf][pool] Default residency budget of 512 MiB causes a 33 MB session to be evicted every round alongside a 578 MB lar | [perf][pool] 默认驻留预算 512 MiB 让 33 MB 会话在 578 MB 大会话旁每轮被驱逐(每次重载 3.4 s,全在事件循环上) #5806 / PR [PR] Fix #5806: Stop evicting recently used sessions on low memory, and surface the pool's over-limit state | 修 #5806:内存不够时别再踢掉刚用过的会话,并把池子超限状态显性化 #5846)。
    5. 是否有回归问题:不涉及(本线程无代码改动)。
    6. 是否破坏缓存:不涉及。
    7. 是否改了设计方向:没有。
    8. 是否引入新配置:无。

    面板文案问题(代码已核实,待你选):src/web/sessions-data.ts:1040 把内存池里的每个会话都标 live=true(line 41 文档注释:"present in the live in-memory pool"),面板把 live 渲染成「运行中」(i18n common.live)——与宿主是否已归档会话无关,所以大量已归档会话显示「运行中」。选项:(a) 最小改文案「运行中」→「驻留」(en: Resident),语义不变;(b) 两态区分「实体运行中(近期有流量)/ 仅驻留」(需定义近期阈值)。推荐先 (a)。你选定后我直接实现(en+zh i18n,几行改动,作为行为变更披露)。

    交叉引用:#5744(并入目标,你的数据点已补在其下)· PR #5755(在途修复,待你合并)· #5756(已关闭)· #5806 + PR #5846(驱逐)· #5858(OOM)· #5403(常驻 AST OOM 家族)· #5794(准入控制)。

    判定:triage 完成、并入 #5744、不关闭(关闭权在你)。待你三项决策:① 合并 #5755;② 方向 A/B/C;③ 面板文案 (a)/(b)。

  4. ranxianglei commented on Nov 8, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    来自 #5871(#4516 oversize 熔断双重误判)现场补充的一个独立数据点,供本线程的 O(messages) 退化分析参考(0.1.210 / dsh 0.2.2-rc.1 / Linux x64,双实例共享同一 state 目录、index.db 271 MB):

    同一 8.9 MiB 会话(约 5000 条消息,与 #4528 同形态)两天内 local 预处理耗时持续爬升:

    inbound=8.7MiB ... local=1012ms
    inbound=8.9MiB ... local=11855ms
    inbound=8.9MiB ... local=66780ms
    

    即 1 s → 66.8 s,入站体积几乎不变而耗时涨 65 倍——退化与会话内累计状态(用户判断:累计压缩块与消息 id 表随 fold 增长)相关而非纯函数于 body 大小。该现场未开任何特殊配置。

  5. ranxianglei commented on Nov 12, 2026

    @ranxianglei
    Owner

    (已收)本单已归入根因聚合 issue(token 见聚合单 body),机器人已停止在本单上的工作,修复走聚合 issue 统一出 PR;本单保留不关,修复验证后统一关闭。(聚合单:[Root Cause] performance-memory (7 items),GitHub #6449)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions