Skip to content

[PR] fix(#5337): long-session per-turn freeze — quadratic compress screening goes linear - #5361

Merged
ranxianglei merged 9 commits into
masterfrom
2026-10-31_kernel-recommend-on
Oct 31, 2026
Merged

ranxianglei merged 9 commits into
masterfrom
2026-10-31_kernel-recommend-on

Conversation

@ranxianglei

@ranxianglei ranxianglei commented Oct 31, 2026 •

Copy link
Copy Markdown
Owner

什么坏了

长会话每回合把 Node 主线程卡死十几秒:网页面板冻结、新请求排队。2.3 万条核心消息的会话,单个回合实测约 17 秒(报告见 #5304 / #5337)。每次压缩、每次状态刷新都要等它跑完。

为什么

每回合的「压缩筛查」把历史切成若干可折叠单元,逐个问一遍"这段能不能折"。问题在每个单元都从零重算整套全史推导:

  • id→消息的五处查找没有索引,每次线性 .find()/includes(2.3 万条时单次几毫秒);
  • 受保护/过期工具调用集合、工具配对表、末尾锚点、完整性预扫——六个整史重扫;
  • 单元数随历史长度增长 ⇒ 总工作量 ≈ 历史规模的平方。

V8 profile 签名(#5337 里已附)与本报告复现一致:热点全部落在这一族函数上。

怎么修的

把这套 O(n) 推导提升为每轮筛查构建一次(buildProjectionShared),同一轮的每个单元共享;id 查找改为一次建好的序号表;截断检查的"已丢弃"成员判断从 includes-in-some 改为 Set(这处单独还是单元宽度平方)。

判定逻辑本身一字未动——"能否折叠"的判据(#3236 单一判定纪律)不变,只是输入到达判定的方式变了。projectUnit 的新参数是可选的:不带共享上下文的调用方(apply/report 单次路径)走原来的内联计算,输出逐字节不变。

同机同语料实测(预热后 3 次取最快):

规模 修复前 修复后
n=2000,全链推荐 57ms 6ms
n=20000,全链推荐 9028ms ~572ms(≈16×)

曲线回到线性量级。

为什么不担心回归

备注

  • kernel v0.0.173 → v0.0.174(本地包,随本仓发布面一起走)。
  • 这是过渡性大收益:增量 lane 放量后入站体量会降,但每轮仍要筛查整史(折叠决策依赖全貌),线性筛查是长期正确形态,不会被增量 lane 取代。

kernel-change: #5337 option A(owner 于本会话批准开工,2026-10-31)——把每轮压缩筛查的 O(n) 全史推导从"每单元重算"提升为"每轮一次共享",长会话每回合的二次方卡死降为线性;判定输出不变,由等价性测试逐字段钉住。kernel v0.0.173 → v0.0.174。

ranxianglei-devbox added 2 commits October 31, 2026 22:05
…uadratic recommend screen goes linear

The recommend node re-screened every candidate unit through projectUnit,
and each projection rebuilt its full-history derivations from scratch:
five indexless linear id lookups (.find/.includes) plus repeated whole-
array rescans (protected/latest/aged tool-call sets, tool-pair map,
last-user anchor, turn-integrity pre-scan). Cost: O(units x n) on top of
O(n) — ~17s of blocked event loop for one processTurn at 23k core
messages on the #5304 repro machine; every turn of every large session
paid it (#5337).

buildProjectionShared(messages, state, config) computes each derivation
ONCE per screening pass; screenRecommendedUnits shares it with every
unit in that pass. projectUnit accepts an optional shared context and
falls back to the exact legacy inline computation when absent, so the
single-shot apply/report paths stay byte-identical. Id lookups go
through a built-once raw-id->index map; the truncation-check dropped-
set membership becomes Set-based (was includes-in-some). The judgment
itself (#3236 one-judgment discipline) is unchanged — only how its
inputs arrive.

Same-machine same-corpus wall clock (warm, best-of-3): real recommend
chain n=20000 9028ms -> ~572ms (~16x). kernel v0.0.174.
@github-actions

github-actions Bot commented Oct 31, 2026 •

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: 2026-10-31_kernel-recommend-on (ef0d1a4)

Latest build — install this exact version

npm install -g billion-context@0.0.7575-pr.5361.ccc0c1e

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Recent builds (commit → version)

commit version build
ef0d1a4 billion-context@0.0.7575-pr.5361.ccc0c1e build
7228153 billion-context@0.0.7566-pr.5361.98e26ed build
ac057ca billion-context@0.0.7563-pr.5361.116a8f9 build
a71c789 billion-context@0.0.7553-pr.5361.fb5e6fa build
d24ff55 billion-context@0.0.7549-pr.5361.7df9095 build

Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr5361.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei ranxianglei changed the title fix(#5337): long-session per-turn freeze — quadratic compress screening goes linear [PR] fix(#5337): long-session per-turn freeze — quadratic compress screening goes linear Oct 31, 2026
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

查重:不重复。 本 PR(#5361)是 #5337 决策申请中选项 A(纯算法优化,O(n²)→O(n),判定行为零变化)的实施,与症状报告 #5304、更早的让出类修复 #4528/#4544(机制不同:相位边界让出事件循环,已合并但单独不够)均非重复——检索 open+closed 无同机制的既在途 PR。

标签: bug · scope/kernel · p1 —— 修的是长会话每回合秒级主线程冻结(与 #5304 同判定口径:p1 体验毁灭类);改动全部落在 kernel/,故范围归内核;不涉特定客户端车道,不打客户端标。

初审状态(进行中):

完整八问结论稍后在本帖补上。

@ranxianglei ranxianglei added bug Something isn't working p1 scope/kernel labels Oct 31, 2026
ranxianglei-devbox and others added 4 commits October 31, 2026 22:22
… foldability screen too

The acp_status uncompressed view (#3236) runs projectUnit once per displayed
row without the shared context — the same per-row full-history O(n) rescan
family this PR removes from the recommend node. The issue report names status
refresh as a freeze victim ('every compression, every status refresh waits');
wire buildProjectionShared into that loop so the fix covers both surfaces.
Judgment is unchanged: shared vs non-shared projections are byte-identical
(pinned by tests/issue5337-shared-screening.test.ts).
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

审核结论:技术面通过(独立复核,非照抄 PR 声明);合并被一个人工门禁卡住——PR 正文缺 kernel-change: 声明导致 kernel-guard 红,授权申请已立 #5365(p1)等你拍板。

① 原 issue 方向关:方案 = #5337 选项 A(纯算法优化、判定零变化),与决策申请一致;修的是 O(n²) 的生产者(每单元从零重推导),不是症状层拦截。方向正确。#5337 线程里没有你的明确批准记录(仅"等待你拍板"结尾的评论),PR 由 ranxianglei 账号提交——若你本人所提视同已批准,在 #5365 回一句确认即可。

② 回归审查(既有行为逐项清点):

③ 代码审查 + 顺手修掉的两处(review 发现,已 push,独立标注 commit):

  1. lock-sync 红修完:作者 a71c789 只修了根 package-lock.json,漏了 kernel/package-lock.json(停在 0.0.173,CI 第二步必红)。我用 CI 同款命令重新生成,根+kernel 两个 lockfile 对 CI 命令验证零 diff(commit ac057ca)。
  2. 同机制漏网补上:acp_status 未压缩视图的逐行 ⚠ 筛查(report.ts:444,[Bug] recommend/apply 对同一区间的 turn-integrity 判定永久不一致:acp_status 反复推荐的区间被 apply 侧整段拒绝(0.1.196,Range would split N turn(s) at the protected-zone boundary) #3236 面)仍逐行不带 shared 调 projectUnit——同一族逐行整史重扫,而 issue 正文明确把"每次状态刷新都要等它跑完"列为受害者。按同一机制不拆片,补了 buildProjectionShared 接线(3 行,commit 3f1042c),等价性由同一测试钉住。

④ CI 现状:head d24ff55 上 kernel-guard=红(缺声明)、lock-sync=红(kernel lockfile,已修)、test 矩阵因 needs 这两个门被 skip——全量测试尚未跑过。push ac057ca 后 lock-sync 应绿;kernel-guard 等 #5365 拍板后补声明即绿,test 矩阵随后开跑做最终把关。


结构化八问:

  1. 是什么问题:长会话(数万条消息)每回合的压缩筛查是历史规模平方级工作量,同步跑死 Node 主线程——单回合约 17s,网页面板冻结、新请求排队([Bug][claude] ≤v0.1.208: Immortal foreign collapsed blocks from the shared-ID era — persistently render into parent sess | [Bug][claude] ≤v0.1.208 共享-id 时代的外来折叠块永生:升级后持续渲染进父会话且无法自动清除(D2 孤儿块) #5304/decision request: O(n²) per-turn recommend screening in acp-kernel starves the event loop on long sessions (#5304) #5337)。
  2. 什么原因导致的:每个可折叠单元的"能否折"判定都从零重算整套全史推导(五处无索引 id 查找 + 六个整史重扫 + 完整性预扫);单元数∝历史长度 ⇒ 总工作≈n²。根因在 kernel recommend 节点(host 侧各阶段合计 <0.5s,decision request: O(n²) per-turn recommend screening in acp-kernel starves the event loop on long sessions (#5304) #5337 证据表钉住)。
  3. 影响范围与严重程度:所有客户端车道的长会话均受影响,会话越长越严重(平方增长,~5K 条以上开始明显);p1——能用但体验毁灭(每回合干等十几秒、面板点不动),命中 owner p1 条款①。
  4. 怎么修复的:把这批 O(n) 推导提升为每轮筛查构建一次(buildProjectionShared)、同轮所有单元共享;id 查找换一次建好的序号表;"已丢弃"成员判断换 Set(单元宽度内的平方项)。判据本身一字未动;单次调用路径走可选参数回退,输出逐字节不变。实测 n=20000 全链推荐 9028ms→~572ms(≈16×)。
  5. 是否有回归问题:未发现。两路投影逐字段等价(测试钉住);[Bug] recommend/apply 对同一区间的 turn-integrity 判定永久不一致:acp_status 反复推荐的区间被 apply 侧整段拒绝(0.1.196,Range would split N turn(s) at the protected-zone boundary) #3236/区间审查(#3331)残留 11 项中小问题集中修:守卫旋钮、存储竞态、静默丢参、CI 触发残角等 #3406/[bug] compress 保护区过滤在完整性调整之后挖洞,导致 assistant tool-call 消息缺 reasoning_content(DeepSeek 思考模式 400) #684/report⚠ 面回归测试全在且定向绿;高危模式逐项无命中。唯一披露的边缘差异见上文②(重复 id 非法输入 first→last,实际不可达)。
  6. 是否破坏缓存:否。纯进程内计算结构重构,wire 字节、prefix cache、重试/游标/去重键全部不动。
  7. 是否改了设计方向:否。架构/边界/数据流未转向;线性筛查是长期正确形态(增量 lane 放量后每轮仍需筛查整史,PR 备注已说明)。
  8. 是否引入了新的配置:无新 env/config/默认值。

收工判定:开发侧闭环(代码+等价性测试+lockfile+status 视图漏网补齐,定向验证绿,已 push ac057ca);合并卡在人工门禁——#5365(kernel authorization request,p1):A 批准 → PR 正文补 kernel-change: 声明 → kernel-guard 绿 → test 矩阵全量验证;B 否决 → 关 PR 回 #5337 讨论。kernel 变更恒 human-only,我不合并。

附:过程中误建了一个垃圾帖 #5364(建单 API 路由探测的副作用),已留评论说明,待你关闭。

@ranxianglei

Copy link
Copy Markdown
Owner Author

retrigger: pick up updated PR body (kernel-change declaration) for kernel-guard

@ranxianglei ranxianglei reopened this Oct 31, 2026
@ranxianglei

Copy link
Copy Markdown
Owner Author

retrigger again: kernel-change declaration line had stray markdown bold; fixed to plain token

@ranxianglei ranxianglei reopened this Oct 31, 2026
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

已核对,retrigger 已生效:

  1. PR 正文声明 ✓ —— 现在含纯文本 kernel-change: 字面串(无 markdown 符号),正是 ci.yml kernel-guard grep 的精确串,本轮应转绿。
  2. head = ac057ca05 —— 含我 review 的两处顺手修(kernel/package-lock.json 同步、status 视图共享接线),分支已 merge 最新 master。
  3. CI 新一轮跑起来了(ac057ca):kernel-guard、lock-sync 及其余 gate 在排队等 runner,目前 0 失败;此前红的两个门(kernel-guard/lock-sync)一绿,test 矩阵(needs 这两个门)随即开跑做全量把关。
  4. master 期间只前移了一个 web-only 提交([PR] fix(web): pack-editor i18n — {need} placeholder + scannable key refs (#1024) #5366),与本 PR 零文件重叠——behind 不阻塞合并,GitHub 合并时自动带上。
  5. bili-issue-5185-comment #5365(授权申请)已被你的动作解决(选项 A),我已留评论记录,关不关由你。

下一步:等 test 矩阵全量结果;kernel 变更恒 human-only,我不合并。有红我第一时间定向排查。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

进展:两个红门已绿,test 矩阵开跑了。 kernel-guard(声明已识别)+ lock-sync(kernel lockfile 修复生效)通过——test 矩阵的 11+ 个分片(ubuntu/windows × node 22/24)与 static-gates 已创建并开始排队执行。全量结果出来我再报;有红我第一时间定向排查。

ci-check added 2 commits October 31, 2026 23:25
… 0.0.174 (version collision on merge; order coupling noted here)
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

retrigger 生效了,但期间分支状态变了两轮,我已全部处理完并重新推上——当前 head ef0d1a462,CI 全新一轮跑起中。

发生了什么、我做了什么:

  1. 声明已识别:你改纯文本后的那轮 CI,kernel-guard 绿了(15:05 通过),lock-sync 也绿;test 矩阵刚开跑就被取消——因为你 15:19 把 master 并进分支(新 push 触发并发组取消旧 run)。
  2. 那个合并撞上了刚进 master 的 [PR] fix(kernel): post-restart compression no longer silently folds wrong messages — slots freed during ID reconciliation are | fix(kernel): 重启后压缩不再静默折叠错消息——编号对账时腾出的座位保留给原主(#5196) #5360(restamp slot-retirement,kernel 改动),分支一度 dirty(冲突)。我把它解掉了:唯一文本冲突在 CHANGELOG.md,按并集保留三方条目(decision request: O(n²) per-turn recommend screening in acp-kernel starves the event loop on long sessions (#5304) #5337 本条 + [PR] fix(web): pack-editor i18n — {need} placeholder + scannable key refs (#1024) #5366 i18n + [Bug] compress can silently fold another message after restart when a pre-restart ref is reused (0.1.209) #5196 restamp)。
  3. 发现一个隐藏的版本对撞(重要):[Bug] compress can silently fold another message after restart when a pre-restart ref is reused (0.1.209) #5196 在 master 上已把 kernel 从 0.0.173 bump 到 0.0.174——和本 PR 的 bump 撞号。git 把两边静默自动合并成同一个 0.0.174,结果就是:本 PR 的 kernel/src 改动相对 master 没有任何版本增量,kernel-guard 规则 2(源改了必须 bump)下一轮必红。已按 Kernel Boundary 纪律处理:bump 到 0.0.175,两个 lockfile(根 package-lock 的 acp-kernel 条目 + kernel/package-lock)用 CI 同款命令重新生成,幂等性验证过(再跑一遍字节级不变)。CHANGELOG 条目里的版本号引用同步改为 v0.0.175。
  4. 推送后本地定向复验:合入 master 新代码后重跑压缩面套件 + [Bug] compress can silently fold another message after restart when a pre-restart ref is reused (0.1.209) #5196 新增的 seq-restamp 套件,44/44 绿——本 PR 与 restamp 修复共存无碍。全量仍交 CI test 矩阵。

PR 正文里「v0.0.173 → v0.0.174」的表述现在实际是「master 的 0.0.174 → 0.0.175」;CI 只 grep kernel-change: 字面串,不受影响,正文要不要顺手改由你定(我不擅自动你的声明行)。

下一步:test 矩阵结果出来我报;绿了之后这一步就剩 human-only 合并。

@ranxianglei
ranxianglei merged commit b9ab9da into master Oct 31, 2026
33 checks passed
@github-actions github-actions Bot mentioned this pull request Oct 31, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant