Skip to content

The "shortened" result of emergency truncation is longer than the original: a 4001-character tool output became 4064 cha | 紧急截断的"缩短"结果比原文还长:4001 字符的工具输出截断后变 4064 字符 #3935

Closed

Description

@ranxianglei

这是啥问题

紧急截断(#3691 的机制)对 4001~4092 字符的工具输出执行截断后,替换文本比原文更长:2000 字符头 + 截断标记 + 2000 字符尾 ≈ 4064 字符 > 原文 4001。所谓 savedTokens 在字符/字节维度是负数。上游按字节看,缓存没省,反而变大了;震荡(#3691)在字符维度是"变长↔复原"来回跳。

根本原因(verif 求解器回放实测)

kernel/src/truncate-tools.ts:92-127 truncateLargeToolOutputs:

  • 触发条件里只有 original.length > opts.keepPrefixChars + opts.keepSuffixChars(默认 2000+2000=4000),没有"截完必须更短"的下限;
  • replacement = prefix(2000) + 标记(\n\n...[TRUNCATION_MARKER — original ~N tokens]...\n\n ≈ 63 字符) + suffix(2000),即原文在 4001~4092 区间时替换必然更长;
  • token 维度大概率变小(估计器 len/4),所以 remaining -= tokens - countTokens(replacement) 还是正数,代码自认为省了——但出站字节变大。

solver 见证:#3691 harness 回放 len=4001 的工具输出,截断后 4064 字符,savedTokens(字符)=-63。标记文本里写着 original ~N tokens,模型也无法从变长的替换里还原内容。

建议方向

  • replacement 长度必须 < original.length(比如 keepPrefix/keepSuffix 按原文长度比例收缩,或跳过"截完不省"的短原文——直接把触发下限提到 keepPrefix+keepSuffix+标记长度以上,并按 targetTokens 收缩);
  • 或者 minOutputTokens 语义改成"节省量下限"而不是"原文本长度下限"。

影响

只在 85.5%~95% 门限区间触发(#3691 同门),截断本身已是缓存接缝(#3813 已立),此问题让接缝在字节维度更糟。默认配置(minOutputTokens 1000 → 400 字符的估计下限... 实际触发看 countTokens)下,4001-4092 字符的工具结果都会变长。

(发现方式:#3853 的 verif 符号执行 harness,PR #3853 里程碑 4/4 回放阶段。)

Activity

  1. changed the title [-]紧急截断的"缩短"结果比原文还长:4001 字符的工具输出截断后变 4064 字符[/-] [+]The "shortened" result of emergency truncation is longer than the original: a 4001-character tool output became 4064 cha | 紧急截断的"缩短"结果比原文还长:4001 字符的工具输出截断后变 4064 字符[/+] on Oct 20, 2026
  2. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复。 open+closed 全量检索(关键词: truncate/截断/savedTokens/emergency)无同症状条目。同家族但机制不同:#3691(截断震荡,已修)、#3813(截断制造缓存接缝,已立)——本 issue 是第三个独立缺陷:替换文本比原文更长,产生方在 kernel/src/truncate-tools.ts 的 truncateLargeToolOutputs,前两者都不覆盖它。

    标签: bug + scope/kernel + p2(窄带宽触发、仅紧急路径、影响有界——4001~~4062 字符的工具输出每条约多 ~60 字节,不阻塞会话,故 p2 非 p1)。

    审核三步已完成,结论:

    1. 复现/查证:已从源码钉死,与你给的 solver 见证一致。触发条件(kernel/src/truncate-tools.ts:96)只有 original.length > keepPrefixChars + keepSuffixChars(默认 4000),replacement = prefix(≤2000)+ 标记(\n\n...[truncated for context space] — original ~N tokens]...\n\n,4 位 token 数时 ≈61 字符)+ suffix(≤2000)。原文落在 (4000, ~4062] 区间时替换必然更长。
    2. 层次判断:根因在 kernel 判定层——「可截」的资格判定缺一条不变量(replacement 必须严格短于 original)。host 侧无法绕过:调小 keepPrefix/keepSuffix 只是把变长带平移,消不掉。这是 kernel-boundary 改动(PR 会带 kernel-change 声明、版本 bump、人工评审档)。
    3. 方案评估:你建议的方向一(收缩保比例)优于方向二(minOutputTokens 改语义)——方向二动的是配置语义面(owner-gated),方向一不动任何配置表面,只补判定不变量。我按方向一实现:保持 2000:2000 比例按原文长度收缩,使 replacement 严格 < original;并加 token 维度守卫(countTokens(replacement) ≥ tokens 则跳过该候选)。顺带钉死两个连带缺陷:负 savedTokens 会让 remaining 反向增长(循环不早停)、并触发 emergencyTruncateNode 里 savedTokens <= 0 分支——误报 "none were large enough to save tokens" 诊断 + 可能喂大 terminalStreak(fix: stitched-stream usage double-count after compress re-request (adapter-anthropic >0 guard) #300 终局态误判风险)。

    开始实现:定向复现脚本 → 修复 → kernel/tests 回归测试 → bump kernel 版本 → PR(Closes #3935)。

  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    修复完成:PR #3957(kernel-change 已声明,kernel 0.0.137 → 0.0.138,Closes #3935):#3957

    结构化八问:

    1. 是什么问题:紧急截断的"缩短"在窄带宽内是变长——4001~4063 字符的工具输出被替换成 4064 字符文本,出站字节不省反增,savedTokens 为负。
    2. 什么原因导致的:资格判定只查 original.length > keepPrefix+keepSuffix(默认 4000),没把替换文本恒带的 ~64 字符标记开销算进下限,缺"截完必须更短"这条不变量;且 savedTokens += tokens - countTokens(replacement) 无负值守卫——负节省让 remaining 反向增长(候选循环不早停),并喂给下游 savedTokens <= 0 分支(误报 "none were large enough" 诊断 + terminalStreak 可能虚增,fix: stitched-stream usage double-count after compress re-request (adapter-anthropic >0 guard) #300 终局态误判风险)。复现实测与你的 solver 见证逐字一致:len=4001 → 4064 字符,deltaChars +63,savedTokens −15。
    3. 影响范围与严重程度:仅 ≥95% 利用率紧急路径 + 40014063 字符窄带;每受影响消息多 163 字节、token 账目最多 −15/条、可触发误导性诊断与 stuck streak 虚增。p2:能用但明显有问题,有界不阻塞。
    4. 怎么修复的:先算出标记长度;当满额保留(2000+2000)放不进"严格短于原文"的预算时,按配置比例收缩 prefix/suffix(keptBudget = len − marker.length − 1);再对每个候选加双重守卫——替换必须严格更短且按会话估计器严格更少 token,否则原样跳过。新不变量:truncatedCount > 0 ⇒ savedTokens > 0。选了你建议的方向一(收缩保比例),未动 minOutputTokens 语义(方向二动配置语义面,不必要)。
    5. 是否有回归问题:既有行为逐项过——低于门限 no-op、recent 保护、tool-result/text 两段优先级、渲染摘要永不截断、surrogate 配对切割:现有套件全部原样通过。带外输出字节级不变(len=10000 精确相等测试钉死,含标记原文)。有意变更:带内从"必截(可能变长)"改为"严格变短且省 token 才截,否则原样保留"——即修复目标本身;len=4064 这类"截了也省不到 1 token"的现在诚实跳过,不再制造零收益缓存接缝。
    6. 是否破坏缓存:无新增破坏;反而消除一类零/负收益的无效接缝(见上)。截断本身的接缝问题归 [review] v0.1.202 release-review leftovers: zcode watchdog recovery latency, responses lane ignores pck ablation memory, URL-image id churn, nudge low-water ratchet | 发版审核遗留小项(不阻塞) #3813。
    7. 是否改了设计方向:否。只在 kernel 判定层补不变量,pipeline 顺序、节点职责、wire 格式(标记文案)均未动。
    8. 是否引入新配置:无。

    行为变更披露(旧→新):默认配置下 4001~4063 字符原文:旧 = 一律替换为 4064 字符(更长)、savedTokens≤0;新 = 收缩到严格更短(如 4001→4000,省 1 token)或按估计器无收益时原样保留、savedTokens>0 ⟺ 有截断。其余区间行为不变。

    收工判定:定向验证已过(38/38 相关套件 + typecheck + prettier,全量交给 CI);kernel 改动属人工评审档,CI 绿后请人工 review 合并 PR #3957。

  4. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    OwnerAuthor

    (ai: zhipuai-lb/glm-5.3)
    已修:PR #3972(kernel 0.0.144,stacked on #3956,合并顺序 #3956 → #3972)。

    修法:keep 窗口总量钳到原文在标记下方实际留出的空间(maxKeep = len − marker − 4,floor 64)+ 最终严格更短拒施保险;≥4068 字符的大输出字节完全不变(4066 pin 保持),无空间的候选原样跳过。打桩 6 pins(kernel/tests/issue3935-truncation-shrink.test.ts)覆盖整个膨胀窗 4001–4200。

  5. added a commit that references this issue on Oct 20, 2026
  6. added
    verif工具发现由 verif 符号执行/判官或 BEX 穷举工具自动发现(工具链:verif/ 模块,PR #3853/#4071/#4103/#4108/#4112/#4151)
    on Oct 21, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingp2scope/kernelverif工具发现由 verif 符号执行/判官或 BEX 穷举工具自动发现(工具链:verif/ 模块,PR #3853/#4071/#4103/#4108/#4112/#4151)

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions