Skip to content

A single oversized summary rejected in its entirety triggers a deadlock: preflight keeps retrying until the budget is ex | 单条摘要超长被整段拒绝后陷入死锁:preflight 反复重试直到预算耗尽,再把超窗请求发给上游 #5682

Open

Description

@GuangYu-yu

Description *

现在压缩的做法是把一大段历史折成一段摘要,摘要写得太长就整段判为不可用、直接丢掉,于是压不下去的这一段被反复重试,直到预算烧完,最后把明显超窗的请求发给上游、被 400 退回来。我觉得更稳的是别把摘要当唯一副本:折掉一段时,上下文里只留一个很短的坐标,说明这一段是被折掉的、主题是什么、原文还在会话日志里,模型真需要细节时再回去读那一段。坐标只有几十个 token,写坏的成本几乎为零,而原文一直在,所以压缩和完整召回就不冲突了,也不会再出现摘要一旦超长、整段历史就消失的情况。配套还要改三处:摘要超长时先往下截成两级,一级保留要点,一级只留索引,别一律判死;压缩不要等贴到窗口上限才触发,维持在工作量五六成的位置,每次只折最旧的一小段,这样每次都在还有余量的时候做;同一段连续失败几次就退化成只留坐标,让会话还能继续,而不是把三十二次预算烧光再报错。这几条里,第一条最要紧,其它三条都是围绕它收尾的,单改第一条就能让这次这种卡死不再发生。

bili version *

0.1.212

Usage mode *

Launcher (bili pi / bili codex / bili dsh / bili kimi …)

Client and version *

dsh 0.30.4

Operating system *

Windows 11

Upstream and model *

deepseek-flash

Compression-related config (optional)

Log excerpt (strongly recommended)


/acp or acp_status output (optional)


Activity

  1. changed the title [-]单条摘要超长被整段拒绝后陷入死锁:preflight 反复重试直到预算耗尽,再把超窗请求发给上游[/-] [+]A single oversized summary rejected in its entirety triggers a deadlock: preflight keeps retrying until the budget is ex | 单条摘要超长被整段拒绝后陷入死锁:preflight 反复重试直到预算耗尽,再把超窗请求发给上游[/+] on Nov 4, 2026
  2. ranxianglei commented on Nov 4, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷

    查重结论

    查重:不重复(同家族已核对)。与 #4920 / #5022 / #4563 / #2438 同属「preflight 折不动 → 预算烧完 → 超窗请求被上游 400」这一最终症状家族,但本条机制不同:

    这个「全有全无、无降级兜底」的拒绝路径,加上你提的「坐标召回」架构方向,现有任何一条都没有。

    标签:bug dsh scope/wiring p2(确认长期卡死后升 p1)。主题类别:D 超时重试与降级 + C 压缩引擎行为。

    版本定位

    v0.1.212(tag daa082e)。本地 clone 原停在 0.1.209,已同步到 origin/master(= v0.1.212 + 155 未发提交),以下分析基于当前 master。关键点:这套全有全无拒绝逻辑 2026-10-08(#2383)就有了,你的 0.1.212 里就有——不是新回归。

    机制核实(代码证据)

    你说的链路在 src/preflight.ts 逐段对得上:

    1. 长度闸 + 截断救援(src/preflight.ts:2971-2990):每段摘要有 compress.maxSummaryLength 上限;超了先 truncateSummaryToLimit 截断,只有截完仍比原文短且净收缩才接受。
    2. 全有全无的「不可用」判定(同段):
      • :2976 摘要没把这段压小(countText(summary) > spanUnits×1.05,NET_SHRINK_TOLERANCE=1.05)→ suspected regurgitation,整段丢;
      • :2984 截断后仍不收缩 → 丢;:2986 超上限且「截不成可用长度」→ 丢;:2989 超上限且「不比要折的内容短」→ 丢。
        这就是你说的「写太长就整段判死」——没有中间态。
    3. 丢了之后(src/preflight.ts:3050-3074):不是降级留坐标,而是把这半再切小重试(pushSpanHalves)直到最小粒度;还不行就 noteSkip 跳过——这段从此以原始形态留在窗口里。
    4. 预算烧光(src/preflight.ts:1847,3145):MAX_SUMMARY_CALLS_PER_PREFLIGHT=16,超窗升到最多 32;用完 failure.kind="exhausted" → fail-fast → 超窗发上游 → 400。

    所以机制成立:一段历史若模型总是把它摘要成≈原文长度(长会话 + 某些模型常见),这段永远折不掉,预算空烧,最后超窗 400。

    ⚠️ 诚实边界:你没贴日志/acp_status,我验证了代码路径存在,但没复现你这一次的具体现场。要钉死命中哪条分支(regurgitation / 截不成 / 不比原文短),需要那次 bili.log 里 [preflight] … produced no usable summary (…) 那行原文,或 /acp 输出。方便补一下,我能精确到分支。

    层次判断

    方案评估(逐条)

    • 核心(别把摘要当唯一副本,折掉只留短坐标、细节回读):方向认同,且 bili 本就保留原文——decompress 能还原、会话日志一直在,「原文还在」现在就是真的。真正变化是把「指针」从可选补充抬成主载体、摘要变可选细节。这是设计方向级改动,会动 kernel 块结构 / decompress 契约,属你拍板项,我不擅自实现。
    • 配套①(超长先往下截两级:要点级 / 仅索引级,不一律判死):合理,host 侧(preflight.ts)可控,是现有截断救援的自然延伸。
    • 配套②(不等贴窗顶,维持在工作量五六成,每次只折最旧一小段):与既定设计冲突——KDD#8 明确 nudge 节奏固定 50K、按增长驱动,fix: merge all system/developer messages into one leading message (SGLang #377) #379/探索是否可以集成进sglang,以做到透明管理 #380 特意删掉了按窗口百分比缩放、禁止重引入百分比闸。你要的「按工作量百分比提前触发/维持水位」正是被删掉的那类。(另:现有 nudge 其实已经在贴窗之前就按增长触发了,「等贴到上限才触发」这半是误读。)可谈,但默认不能这么改。
    • 配套③(同一段连续失败几次就退化成只留坐标):合理,与 [resilience] Preflight compress/timeout loop on sustained mass fold-coverage loss has no graceful degrade #2438「优雅降级」同向,是核心思路在失败路径上的落地。

    处置计划

    核心是设计方向(坐标为主载体),按功能类纪律我不擅自开工。下一步我会把「怎么落地、分几档、各档代价」整理成单独一条 🔶 需要决策 评论给你拍板;其中我推荐的最小档(只在「regurgitation/截不成」的终端失败处退化成极短占位标记让 payload 继续往窗内走,原文仍可 decompress)能单独解除本次卡死,不必等大重构。配套②我建议不改为默认(破 KDD#8),如要保留做成显式配置逃生口。

    判定:先交决策请求,不擅自动架构与节奏;拿到方向后再出带回归测试的 PR。

  3. ranxianglei commented on Nov 4, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷
    🔶 需要决策

    背景一句话:一段历史的摘要被判「≈原文长度」(regurgitation)或超上限截不成时,当前代码整段丢弃、无兜底,这段永不收敛 → 预算烧光 → 超窗请求发上游被 400(机制已在 src/preflight.ts:2971-2990,3050-3074 核实,你的 0.1.212 里有)。你提的方向(别把摘要当唯一副本、折掉留短坐标)对,但落地分档要你拍板。

    待决问题

    • A|坐标召回怎么落(核心):最小兜底 / 主载体重构 / 只补可见性
    • B|触发时机(配套②):要不要破 KDD#8 的固定 50K 增长节奏

    结构化八问

    1. 是什么问题:长会话里某段历史总被摘要成≈原文长度时,这段永远折不掉,预算空烧后把超窗请求发上游被 400,会话卡死。
    2. 什么原因导致:压缩把摘要当这段历史的唯一副本——要么完整摘要、要么什么都不留(原文摊回窗口),没有「极短占位」中间态;叠加超窗后无优雅降级([resilience] Preflight compress/timeout loop on sustained mass fold-coverage loss has no graceful degrade #2438)。
    3. 影响范围与严重程度(按选项):
      • A1 最小兜底:触发=某段 regurgitation/截不成 且 payload 已超窗;后果=该段细节暂离活动上下文(可 decompress 取回),会话恢复可用。p2→解除卡死。
      • A2 主载体:波及=kernel 块结构 / decompress 契约 / 全车道渲染;后果=全量行为转向,一处估错影响所有会话。高面。
      • A3 仅可见性:不改变卡死,只让你看得到卡在哪。零行为变更。
    4. 怎么修复的(推荐 A1+A3):在 src/preflight.ts:3050-3074 的 skip 分支,把「noteSkip 跳过、原文裸奔」改成「复用现有折叠提交,写入一条极短占位标记(主题+ref 范围+『原文可 decompress 取回』)覆盖这段」,让它净收缩进窗;顺带把被跳过段的 token 量暴露到 acp_status。原文始终保留(decompress 契约不变)。以 host 侧 preflight.ts 为主;若 kernel 对摘要最短内容有硬门挡住这条极短标记,则需一处小 kernel 配合(届时按 kernel-change 单独报备)。
    5. 是否有回归(按选项):
      • A1:正例钉住「regurgitation 段不再裸奔超窗」;负例钉住「正常可收缩段仍走原路径不变」;decompress 仍能还原原文(占位不销毁原文)。残余风险=占位措辞若被模型误解,可能少一次主动 decompress(纯体验,非数据丢失)。
      • A2:块结构变、前缀缓存稳定性、四车道 e2e 全要重验;不建议现在上。
      • A3:纯增量展示,无回归。
    6. 是否破坏缓存:A1/A3 否(占位在折叠边界外生成,不碰前缀稳定性);A2 会重排块布局,有破缓存风险。
    7. 是否改了设计方向:A1/A3 否(仍是摘要为主、原文可回读);A2 是(指针升主载体)。
    8. 是否引入新配置:A1/A3 否;B2 会新增 compress.targetUtilization(默认关,需走 config-surface 纪律)。

    选项对比

    选项 解除卡死 改动面 回归风险 建议
    A1 最小兜底 ✅ 单独解除 host 侧 preflight.ts(±小 kernel) 低 推荐先做
    A2 主载体重构 ✅ kernel+全车道 高 后续单独立项
    A3 仅可见性 ❌ acp_status 增量 无 随 A1 附带
    B1 不改节奏 — 无 无 推荐(守 KDD#8)
    B2 水位逃生口 — 新增配置面 中 可选,默认关

    我的推荐 + 不决定的默认行为

    • A:拍 A1(+A3 附带),A2 转后续方向单独评估;
    • B:拍 B1(默认不动);想要水位就走 B2 显式开关。
    • 你若不回复:我按 A1+B1 推进——这是唯一「既解除本次卡死、又不破既定节奏教义、又尽量不碰 kernel」的最小闭环,做完出 PR 引用本条;A2/B2 等你点头再动。
  4. ranxianglei commented on Nov 4, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷

    补充:根因再钉细一层(影响上一条决策的选项描述)

    顺着代码往下查,发现「退化兜底」其实已经存在——#2383 的确定性摘要折叠(deterministicDigest,纯 CPU、零上游调用、原文可 decompress 还原、自动过 kernel 的 minSummaryLength 门)。但它只在入口超窗 > 19.2×(EMERGENCY_FOLD_COVERAGE,src/preflight.ts:163,1864)时才整段接管。

    你这次的卡死落在 2–8× 这个中间带:超窗了但没到 19.2×,于是走的是普通 LLM 折叠路径;某段历史反复 regurgitation(摘要≈原文长),预算烧光后把超窗请求发上游被 400。#2383 那套兜底本可救它,只是门槛太高没接住。

    所以「A1 最小兜底」的准确形态不是新造占位标记,而是让既有的 #2383 摘要兜底也接住这个中间带。具体有两种落法,请你定:

    • A1-a|折叠循环内降级:LLM 路径连续几次 size-driven 失败就切到摘要模式。⚠️ 撞上 src/preflight.ts:1852 明写的「fold 机制每轮只判一次、禁止中途换挡」设计纪律,我不倾向动它。
    • A1-b|折叠收尾后的恢复漏斗(推荐):主循环仍是纯 LLM;当它因 size-driven 摘要失败耗尽、payload 仍超窗且还有可折区间时,在 fail-fast 之前跑一趟有界的纯 CPU 摘要折叠把剩余区间收进窗口。这与既有 [bug][preflight] Raw-range futility gate may strand tier-enabled sessions with distillable T1 blocks (502 deadlock) #2952 的「收尾漏斗」(tier 恢复)同构,不碰「中途换挡」纪律,改动集中、风险低、无新配置、不动 kernel。

    我按 A1-b 推进(即上一条默认行为的具体化)。若你对落法有异议请在上面挑一个或另指方向;无异议我就照 A1-b 出带回归测试的 PR 引用本条。配套②仍维持 B1(不破 KDD#8)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions