Skip to content

decideNudge(): growth-path T1-first ordering structurally starves T2/T3 distillation nudges when t1Eff >= nudgeGrowthTokens #509

Open

Description

@ranxianglei

来源: ranxianglei/billion-context-pi#628 (ranxianglei/billion-context-pi#628) 分析 tier-2 distillation nudge 不可达问题时发现

机制(单一失效域:decideNudge() 的 tier 调度)

t1Eff >= nudgeGrowthTokens 时增长路径永远先发 T1 nudge,使 T2/T3 蒸馏 nudge 结构性不可达——即使 count 触发器(tier2Trigger/tier3Trigger)已被显式配置且满足。以下两个面同属该调度机制,按机制归并在本 issue 内管理:

面 1:T1-first 短路使 count 触发器失效

增长路径结构(acp-kernel@0.0.98 构建产物,dist/index.js:5739-5757):

if (t1Eff >= nudgeGrowthTokens) {
  // → T1 nudge —— 无条件优先;只要还有 ≥50K 可压消息就恒真
} else if (config.tiers.enabled && (t2CountReady || (t2Pen >= tier2Threshold && t2Pen > t1Eff))) {
  // → T2 distill nudge(含 per-tier cadence 守卫)
}

t1Eff(≥ minCompressRange 的可压消息 token 总和)持续 ≥ 50K 的会话里,无论 tier2Trigger 配多低、是否满足,增长路径都走 T1 分支——显式低触发器在这种会话里是摆设。压力路径(usage > 75%)理论上可达 T2,但 T1 的 pending 体量(原始消息)几乎总是大于 T2 的(summaries),实际仍由 T1 胜出。生产实例(billion-context-pi#628,session 01a11102,256K 窗口):22 个活跃 T1 块(summary 合计 ~8.8K)+ t1Eff 100K–400K → 每次请求 ~570K、每轮窗口溢出,全程未收到一次 T2 nudge。

面 2:体量条件 t2Pen > t1Eff 自相矛盾

它要求「summary 体量 > 待压消息体量」。summary 是压缩产物(~400–2K/块),原始消息动辄 26K+——该条件几乎不可能成立,体量路径在实践中同样基本不可达;叠加 tier2Threshold = nudgeGrowthTokens × tier2GrowthMultiplier(1.5) = 75K 的绝对门槛(需先堆出 ~100+ 个 summary 块),三个条件叠加后,#379 留下的「need signal」体量路径实际上难以独立触发。

与 #379 的关系

#379(2026-09-24)把 count 触发默认值从 5/10 提到 1000/2000 并删除 #238 usage gate,修复无需求蒸馏导致的缓存锯齿(billion-context#1249)。方向正确;副作用是 count 触发器作为安全阀的功能也被一并关闭:用户即使显式调低 tier2Trigger,在 t1Eff 持续高位时仍无法通过增长路径获得 T2 nudge。适配器侧缓解(billion-context-pi 把生效默认降到 10/20)只覆盖「t1Eff 间歇性低于 50K」的常见场景,不能消除上述结构性饥饿——故单独立项。

可选方向(供 maintainer 定夺,非断言缺陷)

  • A. 增长路径解耦 T2 ready:t2CountReady(或 T3 对应条件)满足且 cadence 允许时,T2 不依赖 t1Eff < nudgeGrowthTokens——例如 T2 ready 时与 T1 轮换或并列注入。
  • B. 放宽 t2Pen > t1Eff:去掉该合取项,或改为「summary 总量占窗口比例」阈值判断,避免用压缩产物和原始消息比大小。
  • C. 维持现状 + 文档说明:明确 count 触发器在持续高 t1Eff 下仅为建议性(advisory),并写明预期行为。

附带发现(同机制域内的文档漂移,可随任一方案顺手修)

types.d.ts(约 :274-279)对 tier2Trigger/tier3Trigger 的 JSDoc 仍写 "Default 5" / "Default 10",实际默认自 #379 起为 1000/2000。文档与实现不符。

环境

  • acp-kernel@0.0.98(billion-context-pi@0.1.82 内联打包版本)
  • 观察自 256K 窗口生产会话(详见 billion-context-pi#628)

Activity

  1. ranxianglei commented on Oct 7, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已修复,PR: https://github.com/ranxianglei/acp-kernel/pull/510(`Closes #509`)

    审核结论(先于实现):问题属实。已在 master 源码逐行核实 decideNudge() 增长路径(src/compress.ts:1791-1823):t1Eff >= nudgeGrowthTokens 分支无条件先发 T1,T2/T3 的 count 分支位于其 else if 之后——只要可压原始消息体量持续 ≥ 阈值,显式调低的 tier2Trigger/tier3Trigger 在增长路径上结构性不可达。issue 对两个面的定位准确:面 1(T1-first 短路)是主缺陷;面 2(t2Pen > t1Eff 体量条件自相矛盾)属实但属 #379 有意设计的默认开启路径。

    结构化七问:

    1. 是什么问题:用户显式配置并满足的 T2/T3 count 触发器,在「原始可压消息体量持续高位」的会话里永远收不到蒸馏 nudge——配置成了摆设(#628 生产实例:22 个 T1 块、t1Eff 100K-400K,全程零次 T2 nudge)。
    2. 什么原因导致的:根本原因是调度结构而非参数——增长路径把「T1 就绪」放在最外层短路条件,count 触发器被降级成「T1 未就绪时」的备选分支。Count-triggered tier distillation distills without need (cache-loss root cause); #238 usage gate is itself a bug — default-off the count path, delete the gate #379 把 count 默认值提到 1000/2000 后,这条本已脆弱的备选路径连「用户显式调低自救」的出口都没有了。
    3. 怎么修复的:按 issue 方向 A 实现槽位轮换:T1 保留首轮优先权(新状态/上一槽是蒸馏时),一旦 T1 发过,槽位交给最久未显示的 count-ready tier(从未显示 = 最旧,平手取低层),下一周期再还回 T1——严格交替,模型持续忽略某一边也不会饿死另一边。轮换记忆存于新增可选状态字段 nudge.lastInjectedTier,且刻意不被压缩成功重置——这是关键:若用既有的 lastShownByTier 做轮换,模型每成功压一次原始区间就把记忆清零、每次平手都重新偏向 T1,#628 那种「模型勤快压原始」的生产形态下修复等于没修(第一版设计正是栽在这里,被 compress→re-nudge 循环测试抓出)。
    4. 是否回归问题:逐项审过既有行为——① 默认触发器(1000/2000)下候选池恒空 → 默认行为逐字节不变(有专门测试钉住);② 压力路径(usage ≥ maxContextLimitPct 取最大 pending)未触碰;③ token-mass 路径(1.5× 门槛 + 支配条件)原样保留在候选池为空时的级联里;④ 首轮优先语义保持(既有测试 :705 的场景在新代码下首轮仍出 T1,该测试已改写为三轮序列钉住「首轮 T1 → 轮换 T2 → 还回 T1」);⑤ 唯一有意的语义变更即上表披露项:显式低触发器从「死配置」变为「与 T1 严格交替」。面 2 的 t2Pen > t1Eff 未动:它是 Count-triggered tier distillation distills without need (cache-loss root cause); #238 usage gate is itself a bug — default-off the count path, delete the gate #379 设计的默认开启信号,放宽会改变所有人的默认行为(产品决策),且不解决面 1;如需放宽建议另立 issue 单独拍板。
    5. 是否破坏缓存:不引入新的 wire 重写。nudge 文本本身是注入提示,reason 字符串沿用既有格式(T1 增长串 / count-ready 串逐字保留);轮换只改变「哪一轮发哪一层」,不改变任何块的渲染/摘要内容。蒸馏发生频率上升(这正是目的)带来的前缀缓存重写是 Count-triggered tier distillation distills without need (cache-loss root cause); #238 usage gate is itself a bug — default-off the count path, delete the gate #379 已接受的既有代价,量级由用户配置的触发值控制。
    6. 是否改了设计方向:无转向。仍是「growth/token-mass 是 need signal、count 是显式安全阀」的 Count-triggered tier distillation distills without need (cache-loss root cause); #238 usage gate is itself a bug — default-off the count path, delete the gate #379 框架;只是把安全阀从「T1 未就绪才可达」改为「与 T1 轮换可达」。状态 schema 为纯增量可选字段(缺失 = null = 旧行为),适配器零迁移。
    7. 是否引入新配置:无新 env/config/默认值变化。仅新增内部状态字段 nudge.lastInjectedTier(可选,默认 null)。

    附带发现处置:issue 提到的 JSDoc 漂移(Default 5/Default 10 vs 实际 1000/2000)已在独立标注 commit(docs)中修正,README nudge 一节同步补了轮换语义说明。

    验证:本地定向测试(nudge/compress/pipeline/pressure-benefit/persist/packs 共 158 例)全绿 + typecheck 干净;3 个复现测试在修复前确认红、修复后绿。全量回归交 CI。触及 §7.3 契约 8(nudge 不变量)+ 状态字段增量,按规约留人工合并。

    判定:可合并(待 CI 绿 + owner review)。注意这是行为变更类修复:升级后,凡显式调低过 tier2Trigger/tier3Trigger 的高负载会话,将开始周期性收到 T2/T3 蒸馏 nudge(此前为零)——预期内,正是本 issue 的目标行为。

  2. ranxianglei commented on Oct 9, 2026

    @ranxianglei
    OwnerAuthor

    跨仓同步:迁移镜像 ranxianglei/billion-context#2513 继续跟踪——修复已按 acp-kernel#513 指示移植为 ranxianglei/billion-context#2519 #2513,nudge.lastInjectedTier 槽位轮换,压缩成功不重置轮换记忆,CI 绿,待人工合并)。本 issue 与 PR #510 暂留 open,是否关闭由 owner 决定。

  3. ranxianglei commented on Oct 9, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 收到跨仓同步说明,已核实本仓状态:

    按你的指示,本 issue 与 PR #510 保持 open,关闭与否等你拍板;期间我不会对分支做额外操作(rebase/关闭均待你指令)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions