Skip to content

kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698

Description

@ranxianglei

(ai: zhipuai-lb/glm-5.2)

kernel-change: tier 仲裁饿死修复 — 本 issue 按仓库 Kernel Boundary 先行声明,宿主侧无法解决(原因见「为什么必须动 kernel」)。

这是什么问题(一句话)

模型每次只顺从小部分 T1 压缩范围时,T2/T3 蒸馏通道永远轮不到出场,摘要块只增不减,上下文单调上涨直到把会话顶死——#5671 的「反复压缩压不下去」就是它。

根因(代码级)

kernel/src/compress.ts decideNudge 的 growth 阶梯是绝对优先级:

if (t1Eff >= tierThresholds[1]) { ...T1... }
else if (tiers.enabled && (t2CountReady || (t2Pen >= tierThresholds[2] && t2Pen > t1Eff))) { ...T2... }

T2 的 mass 腿要求 t2Pen > t1Eff 且排在一个 T1 不 ready 的 else-if 后面。模型部分顺从(生产日志里每次 nudge 只折 3–6K)时 t1Eff 永远 ≥ 50K,于是:

实验证据(真实 kernel,defaultConfig,260 回合)

车道 结局
懒折叠(每次折最小 offered 范围) floor 510,381 tok(1M 窗口 51%),179 个 T1 块,T2/T3 零次触发
stopgap tierNudgeTokens.t2=30000 与 baseline 逐字节相同——T2 腿在 else-if 后面,t2 自己的阈值改成多少都够不着。#5671 评论里给的缓解配置是无效的
全顺从(fold 所有 offered) floor 94,150(9.4%)收敛,T2 正确地没触发

终局决策对象(懒车道,摘要改大到让 t2Pen 过线后):tier=1, pendingT1=447282, pendingT2=112704——T2 已 75K 过线仍被饿死。而手工发一次 T2 蒸馏调用:tokensCompressed=519,324,floor 568,695→47,975(回收 91.6%)。引擎没坏,是调度永远不叫它。

修复设计(本 PR 实现)

T1 收获停滞检测:T1 nudge fire 时把 breakdown.pendingT1 记入 state.nudge.lastT1FirePending(nudge 节点,consume-once);applyCompression 成功时对比本次 tokensCompressed:

  • 折叠产物为蒸馏(新块 tier≥2)→ 清 stall;
  • T1 形折叠收获 < 50%(STALL_HARVEST_RATIO)→ 置 t1HarvestStall;≥ 50% → 清。

decideNudge 消费该标志(仅 tiers.enabled):

  • growth 档:stalled 且 t2Pen ≥ 自身阈值(不再要求 > t1Eff)→ T2 先于 T1(cadence 照旧);T3 同理;
  • pressure 档:stalled 且 max(t2,t3) ≥ minPressureBenefit → 把 T1 移出候选,让真正能交付的通道跑;
  • reason 追加 [T1 harvest stall] 标记,日志可观测。

不动的东西:flat 50K cadence(KDD #8)、#379 哲学(mass 是需求信号——stall 本身就是 T1 通道的有效性信号,且只在 T2 mass 已过线时才被咨询)、#194/#5415 重臂逻辑、minPressureBenefit 门。

为什么必须动 kernel(宿主侧无法解决)

仲裁顺序完全活在 decideNudge 内部,没有任何 config 能表达「T1 停滞时让 T2 优先」;tierNudgeTokens 只改阈值、改不了 else-if 结构(stopgap 实验证实无效)。宿主侧伪造 stall 状态(直接改 state.nudge)= 绕过内核契约,且 bili 的三个插件车道共享同一份 kernel 调度,逐车道 hack 治不了根。

兼容性

新 state 字段全部 optional(老快照缺省 → 不检测 → 行为逐字节不变);#379 系列 pin(hand-built state 无标志)不受影响;eager 车道永远不置 stall,行为不变。

owner 已在 #5671 讨论中要求根修(2026-11-05 会话)。实现随本 issue 的 PR 走,kernel 版本 bump + 双层测试照 Boundary 办。

Activity

  1. changed the title [-]kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因)[/-] [+]kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因)[/+] on Nov 5, 2026
  2. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复,但同家族——已定位到在途 PR,本修复将并入它,不开新 PR。

    按「一个机制家族一个闭环 PR」+「一 thread 一 fix PR」纪律:不开新 PR。执行计划——把 PR #2519 的分支同步到最新 master,在其上按本 issue 设计实现 T1 harvest-stall 检测,一并推进,PR 描述更新为覆盖两个 facet(Closes #2513 + Closes #5698)。

    标签判定(镜像 shim 未实现 label API,此处声明):bug · scope/kernel · p1(摘要块只增不减、上下文单调上涨顶死会话 = 失控增长类,按 owner 2026-10-19 修订 p1);客户端标签不打(kernel 级机制,跨车道)。

    授权链:issue 已带 kernel-change: 先行声明与宿主侧不可解论证,#5671 讨论中 owner 已要求根修。kernel 变更按 Boundary 保持 human-only merge——最终合并闸在你手里,我做到 push + 双层测试绿为止。

    开始动手。

  3. added 4 commits that reference this issue on Nov 5, 2026
  4. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)

    干完了——根修已并入既有 PR #2519(按「一个线程一个修复 PR」+「连贯修复不拆片」规则,没有另开新 PR)。分支已同步到最新 master;主提交 56b68bced(实现+测试)+ cff2d7928(lockfile 同步);PR 正文已更新覆盖两个面,Closes #2513 + Closes #5698。

    查重结论(详见首条评论):与 #5671(症状源头)、#5587(同症状兄弟)、#2513/#2519(count-trigger 面)同一机制家族——「T2/T3 蒸馏拿不到调度槽」,按 owner 政策收敛为一个闭环 PR。

    结构化八问:

    1. 是什么问题:模型每次只顺从 T1 压缩 nudge 的一小部分(生产日志每轮只折 3–6K)时,T2/T3 蒸馏通道永远轮不到调度槽,摘要块只增不减、上下文单调上涨直到顶死会话——Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了 #5671 的「跑步机」就是这个形状。
    2. 什么原因导致的:decideNudge 仲裁把「pending 大」当成「可交付」,而 T1 的 pending 恰恰在折不动时才大。growth 档 T1 绝对优先,T2 mass 条件还额外要求 t2Pen > t1Eff(部分顺从下结构性不可达);pressure 档 max-pending 也永远选中 T1。没有任何配置能表达「T1 停收时让 T2 先走」(stopgap 实验证实改阈值逐字节无效)。
    3. 影响范围与严重程度:p1。任何模型对压缩部分顺从的插件车道宿主都会上下文单调增长至死(dsh persona 子会话为实际实例:12h floor 17%→42%、229 个块、T2/T3 零触发);全顺从宿主、默认配置、旧快照不受影响。
    4. 怎么修复的:T1 收获停滞检测——T1 nudge fire 时记下 offered mass;折叠成功后对比实际收获:蒸馏产物无条件清 stall,收获 < 50% 置 stall,≥ 50% 清;stalled 后 growth 档把槽位让给 mass 过线的更高 tier(仅该路径不再要求 > t1Eff),pressure 档把 T1 移出候选(剩余通道过收益下限时)。reason 带 [T1 harvest stall] 标记。与本分支既有的 feat: add pi-package keyword so pi.dev gallery indexes billion-context (clean, un-bundled) #509 槽位轮转组合:显式 count 触发与 cadence 语义不变。
    5. 是否有回归问题:逐项审过既有行为——flat 50K cadence 不变;fix: merge all system/developer messages into one leading message (SGLang #377) #379「mass 是需求信号」哲学不变(stall 只在 T2 mass 过线后才被咨询);fix: compress over unpruned view + acp-kernel 0.0.38 (billion-context-pi#195) #194 re-arm、minPressureBenefit 门、pressure 低于下限时的行为均保持(负例有测试钉住);旧快照缺新字段 → 不检测 → 仲裁与 legacy 逐字节一致(钉住);eager 车道永不置 stall。Red-check:撤掉修复后 9 条新测试中 7 条红。Kernel 套件 1591/1591 绿、typecheck/build 绿、bili 侧定向套件(tier-defaults / compress-recovery / success-tail / storage golden)全绿。全量判定以 CI 为准。
    6. 是否破坏缓存:不——改动只在调度决策面,不碰渲染/wire/缓存路径,非 stall 会话输出字节级不变。
    7. 是否改了设计方向:无转向。修的是 kernel 调度器自身的内部缺陷,未引入新机制或边界变化。
    8. 是否引入新配置:无。两个新增可选内部 state 字段(lastT1FirePending / t1HarvestStall)不是配置项;STALL_HARVEST_RATIO=0.5 为 kernel 常量。

    行为变更披露(旧→新):部分顺从会话的调度顺序由「T1 绝对垄断槽位」变为「出现停滞证据后让位给 mass 过线的更高 tier」;全顺从/默认/旧快照会话逐字节不变。kernel 版本 0.0.180 → 0.0.181。

    CI 状态:首推时 lock-sync 门红(kernel/package-lock.json 的版本回声漏同步,导致全部测试车道 skip)——诊断后修复已推送(cff2d7928,与我本地产出的树逐字一致;并行会话先推了同样的修复)。当前 head:lock-sync/kernel-guard 等前置门绿,全量测试矩阵运行中、暂无红。

    收工判定:实现与本地验证完成,PR #2519 待 CI 全绿 + 你的人工 review(kernel 变更按 Boundary human-only merge,我不合并)。CI 若红我继续跟进。

  5. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)

    根修完成,PR #2519 已更新(head fcf1e08),待 CI + 你的评审。 按「一个线程一个修复 PR」+「连贯修复不拆片」,本 issue 没有另开 PR——并入既有 PR #2519(同机制家族的 count-trigger 面,#2513),两个面合成一个闭环。

    结构化八问:

    1. 是什么问题:模型每次收到 T1 压缩 nudge 只折一小部分(生产日志每轮只折 3–6K)时,T2/T3 蒸馏通道永远轮不到调度槽位,摘要块只增不减、上下文单调上涨直到把会话顶死——Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了 #5671 的「跑步机」就是这个形状。
    2. 什么原因导致的:decideNudge 的仲裁把「pending 大」当成「可交付」。T1 恰恰在折不掉的时候 pending 最大:growth 档 T1 绝对优先,T2 mass 腿还要求 t2Pen > t1Eff(部分顺从下结构性不可达);pressure 档 max-pending 也永远选中 T1。没有任何配置能表达「T1 停止交付时让 T2 先走」——stopgap 实验证实改阈值逐字节无效。
    3. 影响范围与严重程度:p1。任何插件车道宿主只要模型部分顺从压缩,上下文就会单调增长至会话死亡(dsh persona 子会话是实锤实例:12h floor 17%→42%、229 个块、T2/T3 零触发);全顺从宿主与默认配置不受影响。
    4. 怎么修复的:T1 收获停滞检测——T1 nudge fire 时记下 offered mass;成功折叠后对比实际收获:蒸馏产物无条件清 stall,收获 < 50% 置 stall,≥ 50% 清;stalled 后 growth 档把槽位让给 mass 过线的更高 tier(仅该路径不再要求 > t1Eff),pressure 档把 T1 移出候选(剩余通道超过收益下限时)。reason 带 [T1 harvest stall] 标记可观测。与本分支已有的 feat: add pi-package keyword so pi.dev gallery indexes billion-context (clean, un-bundled) #509 槽位轮换正交组合:显式 count 触发、cadence 语义均不变。
    5. 是否有回归问题:逐项审过既有行为——flat 50K cadence 不变;fix: merge all system/developer messages into one leading message (SGLang #377) #379「mass 是需求信号」哲学不变(stall 只在 T2 mass 已过线后才被咨询);fix: compress over unpruned view + acp-kernel 0.0.38 (billion-context-pi#195) #194 重臂、minPressureBenefit 门、pressure 档低于下限的行为全部保持(负例有测试钉住);老快照缺新字段 → 不检测 → 仲裁与 legacy 逐字节一致(钉住);eager 车道永不置 stall。红检:撤掉修复后 9 条新测试中 7 条转红。kernel 套件 1591/1591、typecheck/build、bili 相关定向套件(tier-defaults/compress-recovery/success-tail/storage-corpus golden 消费方)全绿。途中两次 CI 红均已解决:① lock-sync——kernel 版本 bump 后漏同步 kernel/package-lock.json 两处版本行(并行会话的同内容修复 cff2d79 先落地,已验证 tree 逐字节一致,未重复提交);② storage-render golden——我初版把 stall 清除写成存显式 false(外加初始化 false),会序列化进每个会话的持久化快照使 nudge 段字节变化;改为 absent-only 存储(latch 存 true、清除删键、不初始化),功能未激活的会话快照与 kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698 之前逐字节一致,无需重新生成任何 golden。验证:golden 场景最终持久化状态 dump 显示两个新字段均不在场;干净 master worktree A/B 跑同一 golden,digest 与本分支逐字节相同(本地沙箱在 master 上同样无法复现该 golden,属环境噪音,以 CI 为准)。
    6. 是否破坏缓存:否——改动只在调度决策面,不触碰渲染/wire/缓存路径;非 stall 会话输出逐字节一致(golden 套件正是钉这个)。
    7. 是否改了设计方向:无转向。这是内核调度器自身缺陷的修复,不引入新机制或边界变化。
    8. 是否引入了新的配置:无。两个新的可选内部 state 字段(lastT1FirePending/t1HarvestStall,absent-only 语义),不是配置项;STALL_HARVEST_RATIO=0.5 为内核常量。

    行为变更披露(旧→新):部分顺从会话的调度从「T1 绝对独占槽位」变为「stall 证据出现后让位于 mass 过线的更高 tier」;全顺从/默认/老快照会话逐字节不变。Kernel 版本 0.0.180 → 0.0.181。

    判定:代码与测试就绪;CI 测试矩阵正在 fcf1e08 上运行,全绿后我再补一条确认。kernel/ 变更按 Boundary 仍等你人工评审(human-only merge)。

  6. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷
    (ai: vllm-qwen/qwen3.8-27b)

    CI 第三轮(head fcf1e08)红了,已定位并修复,新 head 6cbffcdde 已推上 PR #2519 分支。

    triage 方法:同一组失败套件在本沙箱里对干净 master 工作树做 A/B 复跑,把「本分支引入」和「环境/负载问题」切开:

    ① 真回归(已修)— storage-corpus 3 个 digest pin 漂移

    • 根因不在本次 stall 检测代码,而在 PR [PR] decideNudge(): rotate count-triggered T2/T3 distillation nudges with ready T1 on the growth path #2519 的原始提交:feat: add pi-package keyword so pi.dev gallery indexes billion-context (clean, un-bundled) #509 轮转记忆字段 lastInjectedTier 在 createInitialState 里初始化为 null。master 这一个月来的新 hydration 逻辑会把缺失的 nudge 键用 fresh 默认值补齐 → 每个重新加载的老会话都带上 nudge.lastInjectedTier=null → 全部 9 个语料 fixture 恰好多这一个键,digest 漂移(folded/twinfile/zstd 红)。逐字段 diff 钉死:唯一差异就是这一处。
    • 修法(commit 6cbffcdde):和 t1HarvestStall 同样的 absent-only 纪律——删掉初始化器。唯一读点本来就是 (lastInjectedTier ?? null) !== 1,undefined ≡ null,行为逐字节不变;undefined 键不序列化,重新加载的快照回到与 feature 之前一致。
    • 本地验证:storage-corpus 9/9、kernel 全套 1591/1591、typecheck 干净。

    ② 非本 PR 引入(未动代码)— 其余 7 个本地失败
    dsh-guard(issue2419)、#2817 crosswire、#5418 A/B、storage-engine full-mode restart ×4——在干净 master 上以完全相同的方式失败,证明不是本分支代码的问题;CI 里它们在不同 head 之间轮换出现(master 本身 CI 绿),符合代理拉起/digest 类套件在三 shard 并发下的负载敏感抖动特征。等新 head 的干净重跑裁决;若仍红,按 CI 协调纪律去 #4599 报告,不开新 issue。

    等待 CI 对 6cbffcdde 的结果,出来即报。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions