Skip to content

In long, high-throughput sessions, T2 distillation never triggers: the quality gate requires 75K, yet T1 keeps siphoning | 长时高产出会话里 T2 蒸馏从不触发:质量门要 75K、T1 却持续把原料折走让 T2 只能堆到 ~50K,usage 地板逐日上台阶(19h 从 42K 涨到 418K 且再没下来过) #7464

Open

Description

@ranxianglei

现象

session-8421629a(dsh 插件车道,2026-11-19T22 → 11-21T17,19.5h 连续自主运行,window 872000,bili v0.1.216 / kernel v0.0.200):

  • usage 地板单调上台阶,再没下来过:41,997 (11-19T22) → 114,650 (T02) → 176,479 (T17) → 294,607 (11-21T02) → 353,416 (T16),峰值 418,415;
  • 52 次 nudge 注入、72 次 compress 调用全部是 T1(m 区间),T2/T3 nudge 出现次数 = 0;
  • 日志侧自述:context-analysis: usage climbing: new content ≈51K tok/h outpaces T1 compression ≈17K tok/h — the band drifts up until a distillation reset lands——系统自己都写了「直到蒸馏重置才落地」,但蒸馏重置永远不会来。

根因链(kernel/src/compress.ts)

  1. T2 默认触发条件(:2425)是双条件:t2Pen >= tierThresholds[2] && t2Pen > t1Eff,其中 tierThresholds[2] = nudgeGrowthTokens × 1.5 = 75K(:2253-2261)。
  2. t2Pen(T2 目标区的可蒸馏质量)被 T1 本身封顶在 ~45–50K:每次 T1 折叠把 T2 目标区的原始消息换成更小的 summary,t2Pen 回落;产出的新高料先进 T1 又被 T1 折走。结果 t2Pen 是渐近值,结构性地到不了 75K。
  3. 数门(tier2Trigger=1000 块,:2425 t2CountReady)默认关(fix: merge all system/developer messages into one leading message (SGLang #377) #379 设计决策)。
  4. kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698 stall 升级通道(:2395-2417)本为这种状态设计,但 stall 判定(:965)是「单次 fold 收获 < 50% of offered」。本会话恰恰相反:31/42 次 nudge 的 harvest ≥50%——每次折都有效,只是产出速率是回收速率的 3 倍。这是 Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了 #5671 跑步机的一种变体(每次折都有效但永远追不上),现有判定不认,t1HarvestStall 全程未置位,升级从未触发。
  5. 压力路径(usage 高时按 max pending 路由)也救不了:46% usage 远未到压力带;且 :2359 的 stall 排除逻辑同样依赖 t1HarvestStall。

于是唯一能收锚带(10 blocks + 50K 带)质量的 T2,被它自己门前的 T1 喂不饱。疏堵判断:生产者 = T2 门阈值与 T1 折叠速率的结构性互锁,症状 = usage 地板台阶式上涨。

绕行(存在,但默认必踩)

nudge.tierGrowthTokens.t2(#2376 旋钮,:2258)可以人工把 T2 质量门钉低(如 30000)——按机配置可行,默认用户无任何提示地踩进这个状态。且即便钉低,t2Pen > t1Eff 那半条件在 T1 高料期仍可能挡住。

建议方向(owner 定,kernel 变更请求)

为什么宿主侧解不了:门在 kernel/src/compress.ts 的 tier 仲裁里;宿主侧只有一个旋钮(上面的绕行),双条件互锁在默认配置下依旧成立,且没有任何宿主观测面能提前警告(见 #7463)。

边界

主题类别:B(折叠预算与资格判定)。

Activity

  1. changed the title [-]长时高产出会话里 T2 蒸馏从不触发:质量门要 75K、T1 却持续把原料折走让 T2 只能堆到 ~50K,usage 地板逐日上台阶(19h 从 42K 涨到 418K 且再没下来过)[/-] [+]In long, high-throughput sessions, T2 distillation never triggers: the quality gate requires 75K, yet T1 keeps siphoning | 长时高产出会话里 T2 蒸馏从不触发:质量门要 75K、T1 却持续把原料折走让 T2 只能堆到 ~50K,usage 地板逐日上台阶(19h 从 42K 涨到 418K 且再没下来过)[/+] on Nov 21, 2026
  2. ranxianglei commented on Nov 21, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 (ai: ranxianglei/qwen3.8-27b)

    查重: 不重复 — 与 #2513/#2519(T1-first 排序饿死 T2/T3 nudge)、#5671/#5698(跑步机 + stall 升级)同属 T2-starvation 家族,但机制不同:本 issue 是 T2 质量门绝对阈值(1.5×growthFloor=75K)+ 支配条件(t2Pen > t1Eff)+ stall 判定过窄 三者结构性互锁,高产出会话里 T2 永远不 ready;#2513 是排序问题(两者都 ready 时 T1 永远赢),#5698 的 stall 升级只认「单次 fold 收获 <50%」,不认「每次 fold 都有效但产出速率 > 回收速率」的变体。

    标签: bug, dsh, scope/kernel, p1, needs-decision(结构性上下文只增不减 → 按 2026-10-19 owner 修订 p1;dsh 插件车道;kernel 侧 tier 仲裁;待 owner 拍板方向)


    审核结论(审核先于实现)

    1. 复现/查证 —— 问题真实存在,代码事实逐条核对(kernel v0.0.200,与报告版本一致):

    报告声明 代码核实(kernel/src/compress.ts 行号为本树,与报告偏移 ~25 行,机制一致)
    T2 默认双条件门 ✅ t2Pen >= tierThresholds[2] && t2Pen > t1Eff(:2400)
    tierThresholds[2] = 75K ✅ nudgeGrowthTokens × (tier2GrowthMultiplier ?? 1.5)(:2230-2237);nudgeGrowthTokens 恒 50000(KDD #8 flat-50K,resolveAdaptiveGrowth :2064-2076 对任意 window 都 clamp 到 50000)→ 75000
    t2Pen = tier-1 块 summary 池 ✅ 所有活跃非 retired tier-1 块 countTokens(b.summary) 之和(:2126-2129,pendingByTier :2101)
    数门默认关 ✅ tier2Trigger: 1000(config.ts:8),t2CountReady = t2Count >= 1000(:2320)
    #5698 stall 升级 ✅ 存在(GROWTH 路径 :2380-2393,PRESSURE 路径 :2322-2363),但只豁免支配条件 > t1Eff,不豁免 75K 质量门
    stall 判定 = 单次 fold 收获 <50% ✅ t1HarvestStall = tokensCompressed < 0.5 × lastT1FirePending(:936-954,STALL_HARVEST_RATIO=0.5 :194);distill 会清 stall(:947-949)
    压力路径 46% 不触发 ✅ 压力带激活于 usage >= maxContextLimitPct = 0.75(config.ts:10);46% 远低于
    压力路径 stall 排除也依赖 t1HarvestStall ✅ :2334

    2. 定位层次 —— 根因 vs 症状:

    3. 方案评估 —— 用户给的三个方向:

    推荐:方向 C。


    🔶 需要决策

    背景一句话:长时高产出会话里 T2 蒸馏结构性永不触发(质量门 75K 到不了 + 支配条件挡 + stall 判定不认),usage 地板单调上涨至 418K 再没下来;需 owner 拍板 kernel 侧修法方向。

    待决问题:T2 质量门 + 支配条件 + stall 判定的结构性互锁,按哪个方向修?

    选项:

    推荐:方向 C。

    不决定的默认行为:不修。长时高产出会话继续踩这个状态——usage 地板单调上涨至压力带 75% 后压力路径才激活,但压力路径也依赖 t1HarvestStall 而 stall 判定不认这个变体 → 压力路径也救不了 → 最终到 emergency 95% 硬截断。


    结构化八问

    1. 是什么问题:长时高产出会话里 T2 蒸馏(tier-2 块 summary 池的 distillation reset)结构性永不触发,usage 地板台阶式单调上涨(42K→418K/19.5h 再没下来),唯一能收锚带质量的 T2 被它自己门前的 T1 喂不饱。
    2. 什么原因导致的:T2 质量门绝对阈值(1.5×growthFloor=75K)+ 支配条件(t2Pen > t1Eff)+ stall 判定过窄(只认单次 under-harvest)三者结构性互锁。高产出会话里 t2Pen 渐近 45-50K 到不了 75K,支配条件在 T1 高料期仍挡,stall 判定不认「每次 fold 都有效但产出 > 回收」的变体 → 四条触发路(质量门/支配/stall 升级/压力路径)全堵。
    3. 影响范围与严重程度(按选项):
      • A:影响所有长时高产出会话(T1 产出速率 > 回收速率的场景);p1(上下文只增不减,最终 emergency 硬截断);但 A 单独修不干净(支配条件仍挡),实际收益打折。
      • B:影响同上;p1;但 B 单独修不干净(升级仍卡 75K),实际收益打折。
      • C:影响同上;p1;C 综合修干净,正常会话行为不变,回归面最小。
    4. 怎么修复的(推荐选项 C 的修法思路):
    5. 是否有回归问题(按选项):
    6. 是否破坏缓存:T2 触发会改变压缩时序 → 可能改变前缀缓存命中点。但 T2 本来就该在跑步机状态触发(只是现在不触发),修复后 T2 触发是恢复预期行为,不是新增缓存破坏。正常会话 T2 不触发(A/B 的判据都不满足)→ 缓存不变。
    7. 是否改了设计方向:不改。tier 仲裁的 T1-first 排序、kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698 升级机制、压力路径都保留;只修质量门阈值(绝对→相对)+ 补 stall 判据。设计方向不变。
    8. 是否引入了新的配置:
      • A 部分:可能新增「锚带系数」配置(如 nudge.t2AnchorBandCoefficient),默认值待定。
      • B 部分:可能新增「stall 地板上涨时长」配置(如 nudge.t1StallFloorDurationHours),默认 4h。
      • 具体配置名 + 默认值在实现时定,需 owner 确认。

    选项对比表

    维度 A(相对质量门) B(stall 补判据) C(A+B,推荐)
    修质量门 ✅ 绝对→相对 ❌ 不动 ✅ 绝对→相对
    修支配条件 ❌ 不修(仍挡) ✅ 经 #5698 升级豁免 ✅ 经 #5698 升级豁免
    修 stall 判定 ❌ 不动 ✅ 补地板上涨判据 ✅ 补地板上涨判据
    单独修干净 ❌ 支配条件仍挡 ❌ 升级仍卡 75K ✅ 综合修干净
    回归面 中(质量门变相对,正常会话 T2 时序可能变) 中(新 stall 判据可能误置) 小(只在已证明跑步机状态旁路)
    新概念 「锚带」需定义 无 「锚带」需定义
    配置新增 锚带系数 stall 时长 两者

    收工判定:问题真实、根因正确定位、方向 C 推荐。等 owner 拍板 A/B/C 后进入实现(kernel 变更,需 owner 批准 + kernel-change 声明 + 回归测试)。本 issue 暂 hold,不实现。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions