Skip to content

Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了 #5671

Description

@ranxianglei

billion-context-full-log (5).txt
长上下文爆的应该都在了,三个20亿左右的会话都是因为这个爆的,然后新的问题就是重复压缩,但是上下文压不下去


Mirrored from ework issue #5673

Activity

  1. ranxianglei commented on Nov 4, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复(拆成两个机制)——这份日志里其实是两个独立故障:

    标签:bug · dsh · scope/wiring · p1 · needs-decision — 三个会话爆掉且不可恢复(p1);机制在宿主侧请求管道 preflight(scope/wiring);客户端 dsh/deepseek-harness 插件车道。

    结构化八问

    1. 是什么问题:表面是「一直在压缩但上下文降不下来」;本质两个机制——①快车道(dsh persona 子会话)的压缩地板持续抬升,压缩追不上增长;②会话一旦膨胀到数倍窗口,preflight 无法收敛,一次 413 之后整个会话永久死亡(后续每次重试都秒 413,payload 还在逐次变大)。「模型自己说没空间了」日志里没有上游报错文本,最可能是宿主把 bili 的 413 fail-fast 消息(payload core text alone is ~X bytes … no upstream can accept it)转述给了用户/模型。
    2. 什么原因导致的:
      • ①摘要块只增不排([Q/DSH] Output-side anti-forgery truncation: When the body text references a collapsed summary title, the latter half of | [Q/DSH] 输出侧防伪造剪断:正文提到折叠摘要标题时后半句被静默丢弃,客户端无法区分「被剪」与「模型断句」 #5587 机制):c2b3 子会话 active blocks 9→229 单调上涨,T2/T3 蒸馏全程未触发(usage 仅 17%–42%,远低于 75% 压力阈值;块数触发默认 1000 ≈ 关闭)。T1 折叠只能压块外的小片,块越多可压部分越小(后期每折 3–6K、5–10 秒折一次)→ floor 从 89K 爬到 310K+。算术实测客户端忠实执行了每次折叠(V_next ≈ V_prev − fold + 新增,新增 +4–8K/cycle)——不是折叠没生效,是地板本身在涨。
      • ②preflight 收敛模型假设「每折省 0.6×窗口」,实际历史高度碎片化(实测 1312 个候选片段、最大片段仅 18K tok,而 chunk 预算 ~590K),每轮真实节省只有理想值的 ~1%。7.3× 溢出 = 要消掉 6.2M tok 缺口,32 轮 LLM 折叠(每轮 15–30s)在时间/预算内数学上不可收敛;而 CPU-only 应急 digest 通道(DSH 分叉会话后触发大量 preflight overflow compress #2383)要 >19.2× 才启用,7.3× 正好落在「LLM 收不了」和「应急没启动」之间的空档。fail-fast 413(retryable=false)后没有任何恢复路径——无快照回退、无截断逃生——宿主继续重发同样的巨型历史 → 永久 413 循环。「三个 20 亿左右的会话」爆掉就是这条链:增长期走机制①,终局死在机制②。(本日志覆盖 11-04 00:25–18:21,直接可见的死会话是一个:7.2M tok / 24.9MiB inbound,≈7.3× 窗口,04:29/05:45/06:13 三次 413;另外两个如果是更早的日志,给我文件我可以逐个核。)
    3. 影响范围与严重程度:dsh 插件车道(deepseek-harness),尤其高速 persona/子代理车道(每回合大工具结果、每分钟几十次请求、无人值守过夜运行)。①能用但 floor 持续抬升、输入 token 近乎翻倍计费(成本问题);②无人过夜跑极可能膨胀过窗永久死亡(完全不可用)。
    4. 怎么修复的:①归 [Q/DSH] Output-side anti-forgery truncation: When the body text references a collapsed summary title, the latter half of | [Q/DSH] 输出侧防伪造剪断:正文提到折叠摘要标题时后半句被静默丢弃,客户端无法区分「被剪」与「模型断句」 #5587 根治选项(已列待你拍板)+ 立即止血配置 compress.tierNudgeTokens.t2=30000;②新机制:把应急 digest 通道的触发从「入口 >19.2× 静态阈值」改为按运行时实测每轮节省自适应切换(剩余缺口装不下剩余预算就切 CPU-only digest 折叠)——补完 DSH 分叉会话后触发大量 preflight overflow compress #2383 原意,不引入新配置面。选项与代价见下方 🔶。
    5. 是否有回归问题:本单目前只分析未改码;回归审查随 PR 进行。
    6. 是否破坏缓存:不涉及(未动缓存路径;日志主线 cache hit 全程正常)。
    7. 是否改了设计方向:无。自适应切换只是修正既有 DSH 分叉会话后触发大量 preflight overflow compress #2383 机制的触发条件,不加新车道。
    8. 是否引入了新的配置:无(止血复用现有 key;自适应切换用硬常量)。

    判定:踏车部分并入 #5587;413 死循环在本单立项,修法方向等你拍板。


    🔶 需要决策

    背景:7×–19× 窗口的 payload 落在 preflight 空档——LLM 折叠收不了(慢、每轮省得少),应急 digest 通道又没启动(阈值 19.2× 太高),最终硬 413 杀死会话且不可恢复。

    待决:这个空档怎么补?

    选项:

    • A(我推荐)自适应 regime 切换:preflight 运行中实测每轮真实节省,剩余缺口装不下剩余预算时立即切 CPU-only deterministic-digest 折叠(与 DSH 分叉会话后触发大量 preflight overflow compress #2383 同一机制,只是把触发条件从静态入口阈值改成动态收敛判定)。代价:部分会话的摘要从 LLM 质量降级为结构化 digest 质量(decompress 仍可还原原文);行为变更披露:进 digest 通道的场景从「仅 >19.2×」变为按实际收敛能力动态判定。无新配置面。
    • B 降静态阈值(19.2×→~4×):一行改动最简单,但粗——正常 4–5× 的场景也失去 LLM 摘要机会,历史碎片少时 LLM 本来能收敛。
    • C 加最后逃生口:413 之后提供恢复(自动回滚到最近 checkpoint 快照 / 返回结构化 overflow 错误让宿主重建会话)。代价:改动最大,涉及数据丢失语义与宿主配合,建议单独做。

    不决定的默认行为:A 直接进 PR(小闭环、补完 #2383 原意、行为变更已在 PR 披露);C 等拍板后再动。

  2. changed the title [-]重复压缩压不下去 模型自己说没空间了[/-] [+]Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了[/+] on Nov 4, 2026
  3. ranxianglei commented on Nov 4, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    **A 方案已实现并提 PR:https://github.com/ranxianglei/billion-context/pull/5678**(基线已 rebase 到当前 master,276 个定向测试全绿 + typecheck + build;全量回归看 CI。)

    修法一句话:preflight 的折叠预算判定原来只看请求进来那一刻的超窗倍数(>19.2× 才切 CPU 确定性折叠),现在在每轮循环里加第二个触发点——当"最大的 N 个可折区段"就算全折掉也填不平剩余缺口时,当场把本次调用剩下的轮次切到确定性折叠。你日志里那个 7.3×、1312 个碎区段的会话,第一轮就会切过去,几秒收敛,不再烧 32 次 LLM 调用后 413 等死。切换是单向的(确定性折叠不会把内容变大),且只在"有基线的会话"上生效(无基线场景两种估算单位不一致,强切会误伤能收敛的负载——这个坑被现有测试当场抓出来了)。

    结构化八问:

    1. 是什么问题:两层。表层"重复压缩压不下去"=[Q/DSH] Output-side anti-forgery truncation: When the body text references a collapsed summary title, the latter half of | [Q/DSH] 输出侧防伪造剪断:正文提到折叠摘要标题时后半句被静默丢弃,客户端无法区分「被剪」与「模型断句」 #5587 家族的地板上升(证据已交叉挂过去);本质新问题=会话涨到窗口数倍且历史高度碎片化时,preflight 救援数学上不可能收敛,一次 413 后整个会话永久死亡。
    2. 什么原因导致的:收敛模型只有两个极端档——入口 >19.2× 走快通道,其余走 LLM 慢通道;而 LLM 慢通道的"每轮省 0.6 窗口"假设在碎片池上只兑现 ~1%,中间地带(7–19×)无人接管。413 之后又没有任何恢复路径,宿主原样重发 → 永久死循环。
    3. 影响范围与严重程度:dsh 插件车道、中幅超窗(约 4–19×)且历史碎片化的会话——典型就是 persona/sub-agent 高速车道。严重度 p1:会话不可逆死亡,日志实测一个子会话 5793 条消息 / 24.9MiB / ~720 万 token,三次 413 之间 payload 还在涨。
    4. 怎么修复的:见上。附带一个诚实度改进:连确定性折叠都救不回来的池子(比如折叠自身开销就超窗口),现在按"确定性判死"给出 413 retryable=false(宿主停止空转),而不是旧行为烧完 32 轮 LLM 后给 502(状态驱动的无头宿主会无限重试 502)。
    5. 是否有回归问题:审过的既有行为——入口快通道触发条件(未动)、LLM 路径正常收敛的场景(负向测试钉住:2.24× 整块负载仍走 LLM)、无基线调用(整体门控排除,零变化)、模型压缩输出是输入的数倍 #1841 穷尽门(未动,仍是第一道防线)、两种压缩模式的 wire 形态(digest 块是既有 kernel 产物格式,未动)。有意变更两处均已披露:①更多会话会得到 CPU 摘要质量的折叠块(原文可用 decompress 恢复);②确定性判死的响应码 502→413+retryable=false。
    6. 是否破坏缓存:不涉及。出站字节结构不变,digest 块替换被折历史的机制与既有快通道完全相同。
    7. 是否改了设计方向:没有转向。这是补全 DSH 分叉会话后触发大量 preflight overflow compress #2383 自己注释里承认的缺口("实际覆盖率低于理想值"),两档设计不变,只是给第二档加了预算感知的触发条件。
    8. 是否引入了新的配置:没有。ADAPTIVE_EMERGENCY_SLACK=1.5 是内部常量,与其他 preflight 阈值并排,无新 env/config 面。

    仍待你拍板的只剩 C 项(🔶 标签保留):413 判死之后要不要加恢复出口(回滚到最近健康快照 / 返回结构化溢出错误让宿主重建)——涉及丢数据语义,我没擅自动。不决定的默认行为:保持现状(判死后拒绝转发,本地已钉住拒绝记录防宿主空转)。另外 #5587 那半的即时止血配置(compress.tierNudgeTokens.t2=30000)在那条线程里,可以先配上顶着。

    收工判定:本 issue 的代码交付 = PR #5678,等 CI + 你 review;C 项等你拍板后再动。

  4. added a commit that references this issue on Nov 4, 2026
  5. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    (ai: zhipuai-lb/glm-5.2)

    更正一个要紧的点:昨天分析里给的缓解配置 compress.tierNudgeTokens.t2=30000 是无效的,别依赖它。

    实验验证(真实 kernel、defaultConfig、260 回合懒折叠车道,条件与 #5671 日志同构):设与不设的 260 回合结果逐字节相同(floor 510,381 tok、179 个 T1 块、T2/T3 零触发)。原因在 kernel/src/compress.ts 的 decideNudge 阶梯:

    if (t1Eff >= tierThresholds[1]) { ...T1... }
    else if (tiers.enabled && (t2CountReady || (t2Pen >= tierThresholds[2] && t2Pen > t1Eff))) { ...T2... }

    T2 的 mass 腿排在「T1 不 ready」的 else-if 后面,且额外要求 t2Pen > t1Eff。模型部分顺从(你的日志里每次只折 3–6K)时 t1Eff 永远 ≥ 50K——t2 阈值改成多少都轮不到它出场;pressure 档(≥75%)的 max-pending 仲裁也照样选 T1(447K > 112K)。同一份实验里手工发一次 T2 蒸馏调用回收 91.6%(568K floor → 48K),证明引擎本身没坏,是调度结构性饿死它。

    根修方案已按 Kernel Boundary 开专用 issue:#5698(T1 收获停滞检测 + 停滞时 mass-qualified 的 T2/T3 先行)。修复 PR 会引用 #5698 并关联本单。

  6. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    接受更正,撤回我上一轮"可以先配上顶着"的建议。 我没有只凭这条评论下结论,对着实际代码复核了一遍,机制成立:

    • kernel/src/compress.ts:2179 T1 分支是绝对优先(t1Eff >= tierThresholds[1] 即走 T1);:2184 T2 的 mass 腿在它的 else-if 里且额外要求 t2Pen > t1Eff;count 腿(t2CountReady)也在同一个 else-if 后面,而 tier2Trigger 默认 1000(kernel/src/config.ts:8)。
    • 所以只要模型部分顺从、t1Eff 长期 ≥ 50K,所有 tier 阈值旋钮都在 T1-ready 门的下游,改哪个都轮不到 T2 出场。键本身是有效的(compress.tierNudgeTokens → kernel nudge.tierGrowthTokens,src/config.ts:271),但结构上不可达——和评论结论一致。
    • 我的生产日志独立佐证同一饿死形态:c2b3 子会话 12 小时内 T1 nudge 每 1–2 分钟一次、后期每次只折 3–6K、活跃块涨到 ~229(远够不到 1000 的 count 触发)、T2/T3 零次触发、floor 单调上升。不只是合成实验。

    #5698 已确认存在且立项合规(GitHub 侧 open,带 kernel-change: 声明 + "宿主侧无法解决"论证,根因与实验证据齐全)——按 Kernel Boundary,kernel 侧实现在 owner 批准前不动,那是它线程里待你拍板的部分。

    诚实边界:在 #5698 落地之前,treadmill 这半没有有效的配置级止血了——我不会再给出第二个旋钮。只有运维层面的缓解(重启会话/降低该车道负载)。

    范围说明:本单的代码交付 PR #5678(413 死循环那半,preflight 收敛缺口)不受此更正影响,是独立的失败域,仍等 CI + review;C 项(判死后恢复出口)继续等你拍板。

  7. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    (ai: zhipuai-lb/glm-5.2)

    根修已出:PR #5700(kernel: T1 收获停滞升级)。独立源码+实验归因的完整结论:

    1. 根因:decideNudge 的 growth 阶梯里 T2/T3 的 mass 腿排在 T1 腿的 else-if 后面且额外要求 t2Pen > t1Eff——模型部分顺从(你的日志:每次 nudge 只折 3–6K,对 ~450K offered)时 t1Eff 永远 ≥ 50K,蒸馏通道结构性饿死;pressure 档(≥75%)的 max-pending 仲裁照样选 T1。专属 issue:kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698。
    2. stopgap 更正:昨天建议的 compress.tierNudgeTokens.t2=30000 实验证实无效(该腿在 else-if 后面,阈值改多少都够不着)——不要依赖它。
    3. 实验:真实 kernel 260 回合懒折叠车道 floor 510K(1M 窗口 51%)、T2 零触发;同一状态手工一次 T2 蒸馏回收 91.6%。修复后生产形状车道 T2 定期触发、块 pile 有界。
    4. 机制②(preflight 不收敛 → 413)仍由 open PR [PR] fix: preflight switches to digest folds mid-flight when the LLM path cannot close the gap within budget #5678 处理,两机制独立。
  8. ranxianglei commented on Nov 5, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    #5700 已核实:open,base master,改动面 = kernel/src/compress.ts(decideNudge 仲裁 + 记账)+ kernel/src/types.ts(NudgeState 两个 optional 字段)+ kernel/package.json 0.0.180→0.0.181,带 kernel-change: 声明、Fixes #5698——立项与边界合规。

    与我的 PR #5678 无冲突,可任意顺序独立合入:两者不碰同一文件,机制也独立——preflight 的折叠走不走 decideNudge(那是 nudge 注入路径),我这边产生的确定性折叠块对 tier 蒸馏就是普通块,无交互。本单的两个机制至此各有归属:机制①跑步机 → #5700(根修);机制② preflight 不收敛死循环 → #5678(等 CI + review)。

    按 Kernel Boundary 提示一点流程事实:kernel 变更恒为人工评审档(无自动合并),PR 正文称根修系你在 #5671 讨论中要求——最终批准与合并在你手里,我不代判。

    遗留待决不变:C 项(413 判死后的恢复出口,涉及丢数据语义)仍等你拍板,needs-decision 标签保留。

  9. added 3 commits that reference this issue on Nov 5, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions