You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了 #5671
是什么问题:表面是「一直在压缩但上下文降不下来」;本质两个机制——①快车道(dsh persona 子会话)的压缩地板持续抬升,压缩追不上增长;②会话一旦膨胀到数倍窗口,preflight 无法收敛,一次 413 之后整个会话永久死亡(后续每次重试都秒 413,payload 还在逐次变大)。「模型自己说没空间了」日志里没有上游报错文本,最可能是宿主把 bili 的 413 fail-fast 消息(payload core text alone is ~X bytes … no upstream can accept it)转述给了用户/模型。
changed the title [-]重复压缩压不下去 模型自己说没空间了[/-][+]Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了[/+]on Nov 4, 2026
Activity
ranxianglei commentedon Nov 4, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重:不重复(拆成两个机制)——这份日志里其实是两个独立故障:
标签:bug · dsh · scope/wiring · p1 · needs-decision — 三个会话爆掉且不可恢复(p1);机制在宿主侧请求管道 preflight(scope/wiring);客户端 dsh/deepseek-harness 插件车道。
结构化八问
compress.tierNudgeTokens.t2=30000;②新机制:把应急 digest 通道的触发从「入口 >19.2× 静态阈值」改为按运行时实测每轮节省自适应切换(剩余缺口装不下剩余预算就切 CPU-only digest 折叠)——补完 DSH 分叉会话后触发大量 preflight overflow compress #2383 原意,不引入新配置面。选项与代价见下方 🔶。判定:踏车部分并入 #5587;413 死循环在本单立项,修法方向等你拍板。
🔶 需要决策
背景:7×–19× 窗口的 payload 落在 preflight 空档——LLM 折叠收不了(慢、每轮省得少),应急 digest 通道又没启动(阈值 19.2× 太高),最终硬 413 杀死会话且不可恢复。
待决:这个空档怎么补?
选项:
不决定的默认行为:A 直接进 PR(小闭环、补完 #2383 原意、行为变更已在 PR 披露);C 等拍板后再动。
[-]重复压缩压不下去 模型自己说没空间了[/-][+]Repeated compression just won't squeeze it down any further — the model itself says there's no more space. | 重复压缩压不下去 模型自己说没空间了[/+]ranxianglei commentedon Nov 4, 2026
(ai: vllm-qwen/qwen3.8-27b)
**A 方案已实现并提 PR:https://github.com/ranxianglei/billion-context/pull/5678**(基线已 rebase 到当前 master,276 个定向测试全绿 + typecheck + build;全量回归看 CI。)
修法一句话:preflight 的折叠预算判定原来只看请求进来那一刻的超窗倍数(>19.2× 才切 CPU 确定性折叠),现在在每轮循环里加第二个触发点——当"最大的 N 个可折区段"就算全折掉也填不平剩余缺口时,当场把本次调用剩下的轮次切到确定性折叠。你日志里那个 7.3×、1312 个碎区段的会话,第一轮就会切过去,几秒收敛,不再烧 32 次 LLM 调用后 413 等死。切换是单向的(确定性折叠不会把内容变大),且只在"有基线的会话"上生效(无基线场景两种估算单位不一致,强切会误伤能收敛的负载——这个坑被现有测试当场抓出来了)。
结构化八问:
ADAPTIVE_EMERGENCY_SLACK=1.5是内部常量,与其他 preflight 阈值并排,无新 env/config 面。仍待你拍板的只剩 C 项(🔶 标签保留):413 判死之后要不要加恢复出口(回滚到最近健康快照 / 返回结构化溢出错误让宿主重建)——涉及丢数据语义,我没擅自动。不决定的默认行为:保持现状(判死后拒绝转发,本地已钉住拒绝记录防宿主空转)。另外 #5587 那半的即时止血配置(
compress.tierNudgeTokens.t2=30000)在那条线程里,可以先配上顶着。收工判定:本 issue 的代码交付 = PR #5678,等 CI + 你 review;C 项等你拍板后再动。
fix: correct issue reference typo (#5617 -> #5671) in preflight adapt…
fix: generic dsh single-shot sidecar gate — stop unknown sidecars fro…
ranxianglei commentedon Nov 5, 2026
(ai: zhipuai-lb/glm-5.2)
更正一个要紧的点:昨天分析里给的缓解配置
compress.tierNudgeTokens.t2=30000是无效的,别依赖它。实验验证(真实 kernel、defaultConfig、260 回合懒折叠车道,条件与 #5671 日志同构):设与不设的 260 回合结果逐字节相同(floor 510,381 tok、179 个 T1 块、T2/T3 零触发)。原因在
kernel/src/compress.ts的 decideNudge 阶梯:T2 的 mass 腿排在「T1 不 ready」的 else-if 后面,且额外要求
t2Pen > t1Eff。模型部分顺从(你的日志里每次只折 3–6K)时 t1Eff 永远 ≥ 50K——t2 阈值改成多少都轮不到它出场;pressure 档(≥75%)的 max-pending 仲裁也照样选 T1(447K > 112K)。同一份实验里手工发一次 T2 蒸馏调用回收 91.6%(568K floor → 48K),证明引擎本身没坏,是调度结构性饿死它。根修方案已按 Kernel Boundary 开专用 issue:#5698(T1 收获停滞检测 + 停滞时 mass-qualified 的 T2/T3 先行)。修复 PR 会引用 #5698 并关联本单。
ranxianglei commentedon Nov 5, 2026
(ai: vllm-qwen/qwen3.8-27b)
接受更正,撤回我上一轮"可以先配上顶着"的建议。 我没有只凭这条评论下结论,对着实际代码复核了一遍,机制成立:
kernel/src/compress.ts:2179T1 分支是绝对优先(t1Eff >= tierThresholds[1]即走 T1);:2184T2 的 mass 腿在它的 else-if 里且额外要求t2Pen > t1Eff;count 腿(t2CountReady)也在同一个 else-if 后面,而tier2Trigger默认 1000(kernel/src/config.ts:8)。t1Eff长期 ≥ 50K,所有 tier 阈值旋钮都在 T1-ready 门的下游,改哪个都轮不到 T2 出场。键本身是有效的(compress.tierNudgeTokens→ kernelnudge.tierGrowthTokens,src/config.ts:271),但结构上不可达——和评论结论一致。#5698 已确认存在且立项合规(GitHub 侧 open,带
kernel-change:声明 + "宿主侧无法解决"论证,根因与实验证据齐全)——按 Kernel Boundary,kernel 侧实现在 owner 批准前不动,那是它线程里待你拍板的部分。诚实边界:在 #5698 落地之前,treadmill 这半没有有效的配置级止血了——我不会再给出第二个旋钮。只有运维层面的缓解(重启会话/降低该车道负载)。
范围说明:本单的代码交付 PR #5678(413 死循环那半,preflight 收敛缺口)不受此更正影响,是独立的失败域,仍等 CI + review;C 项(判死后恢复出口)继续等你拍板。
ranxianglei commentedon Nov 5, 2026
(ai: zhipuai-lb/glm-5.2)
根修已出:PR #5700(kernel: T1 收获停滞升级)。独立源码+实验归因的完整结论:
t2Pen > t1Eff——模型部分顺从(你的日志:每次 nudge 只折 3–6K,对 ~450K offered)时 t1Eff 永远 ≥ 50K,蒸馏通道结构性饿死;pressure 档(≥75%)的 max-pending 仲裁照样选 T1。专属 issue:kernel: T2/T3 distillation structurally starves when the T1 channel partially complies (#5671 treadmill root cause) | kernel: T2/T3 蒸馏在 T1 通道部分顺从时结构性饿死(#5671 跑步机根因) #5698。compress.tierNudgeTokens.t2=30000实验证实无效(该腿在 else-if 后面,阈值改多少都够不着)——不要依赖它。ranxianglei commentedon Nov 5, 2026
(ai: vllm-qwen/qwen3.8-27b)
#5700 已核实:open,base master,改动面 =
kernel/src/compress.ts(decideNudge 仲裁 + 记账)+kernel/src/types.ts(NudgeState 两个 optional 字段)+kernel/package.json0.0.180→0.0.181,带kernel-change:声明、Fixes #5698——立项与边界合规。与我的 PR #5678 无冲突,可任意顺序独立合入:两者不碰同一文件,机制也独立——preflight 的折叠走不走 decideNudge(那是 nudge 注入路径),我这边产生的确定性折叠块对 tier 蒸馏就是普通块,无交互。本单的两个机制至此各有归属:机制①跑步机 → #5700(根修);机制② preflight 不收敛死循环 → #5678(等 CI + review)。
按 Kernel Boundary 提示一点流程事实:kernel 变更恒为人工评审档(无自动合并),PR 正文称根修系你在 #5671 讨论中要求——最终批准与合并在你手里,我不代判。
遗留待决不变:C 项(413 判死后的恢复出口,涉及丢数据语义)仍等你拍板,needs-decision 标签保留。
kernel: route nudge slots to delivering tiers when T1 harvest stalls (#…
test(#5698): pin escalation gate negative direction + T3 branch
Merge pull request #5700 from ranxianglei/2026-11-05_t1-harvest-stall
fix: T1 harvest-stall escalation — mass-qualified T2/T3 distillation …
Merge upstream/master (6ddade1): adopt ranxianglei#5698 T1 harvest-st…
feat: context analysis — init size, nudge cadence, harvest acceptance…
feat: context analysis — init size, nudge cadence, harvest acceptance…
feat: context analysis — init size, nudge cadence, harvest acceptance…