Skip to content

isAutoModeClassifier() false positive: once <transcript> appears in the history, compression for the entire session is | isAutoModeClassifier() 误判:历史中出现 <transcript> 后,整个会话的压缩被静默跳过 #3908

Closed

Description

@whaow-zh

Description *

某会话开头正常(日志有 processTurn)。一次工具返回里带上了 bili 源码片段(含 和 Err on the side of blocking),紧随其后 48ms 的那条请求开始,此后该会话 54/58 条请求全部变成:auto-mode classifier passthrough (skipping compress injection)request: 61 msgs, inbound=526.8KiB, outbound=526.8KiB即 inbound == outbound(一字未改)、processTurn 消失、acp_status 显示 0 个压缩块且 max compressible 0,但 billed input 持续增长到约 200k/1M。该会话的压缩、nudge、标签渲染全部静默停摆,无任何提示。
同一环境新开会话,processTurn / nudge 正常;手动 compress 成功([Compressed … ~15,292 tokens saved]、fold=new、上下文 50,600→40,272)。

bili version *

v0.1.202

Usage mode *

Launcher (bili pi / bili codex / bili dsh / bili kimi …)

Client and version *

DSH V0.2.1-rc.2

Operating system *

Windows 11

Upstream and model *

deepseekv4.1flash1017

Compression-related config (optional)

Log excerpt (strongly recommended)


/acp or acp_status output (optional)


Activity

  1. changed the title [-]isAutoModeClassifier() 误判:历史中出现 <transcript> 后,整个会话的压缩被静默跳过[/-] [+]isAutoModeClassifier() false positive: once `<transcript>` appears in the history, compression for the entire session is | isAutoModeClassifier() 误判:历史中出现 <transcript> 后,整个会话的压缩被静默跳过[/+] on Oct 20, 2026
  2. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 与已关闭的 #3359/#3361(auto-mode forge 误判)同家族但机制与症状都不同:#3359 是「魔法停止词单独命中即拦截」(修复方式是加了 <transcript> wrapper 要求);本次是 wrapper 要求满足了——工具返回带进一段同时含 <transcript> 和 "Err on the side of blocking" 的 bili 源码片段后,合取条件在每条后续请求上都成立。症状对比:#3359 = 非分类器请求被伪造判定回答;本次 = 整个会话的压缩/nudge/标签渲染静默停摆(inbound==outbound)。

    标签: bug / dsh / scope/wiring / p1 —— 核心承诺(上下文压缩)静默失效、billed input 无界增长直至撞窗口,按 2026-10-19 修订属 p1(核心承诺失灵)。

    审核结论(已复现确认,非凭描述开工):

    1. 复现:最小复现已跑通——多轮会话中某个 tool_result 携带 src/auto-mode-forge.ts 片段(两族标记同在一个 payload 里),此后每条请求 isAutoModeClassifier() 都返回 true;把同样字符串直接粘贴进用户消息也命中。真实形状(KB 级完整 transcript wrapper + 策略措辞)不受影响,仍正确识别。
    2. 根因(层次判断):检测器扫描的是整段重发历史——system + 全部消息文本(含 tool_result payload)+ tools JSON,找「<transcript> 与策略措辞的合取」。模块头的设计假设「合取不可能被正常编码会话伪造」被 bili 自己的源码证伪:src/auto-mode-forge.ts 同时含 <transcript> 字面量(L98)、成对注释跨度(L68)和 "Err on the side of blocking"(L94)。一旦它经工具返回进入重发历史,该会话永久命中——这是「扫描面过宽」的决策点缺陷,不是日志/状态面的问题。
    3. 为何日志形态完全吻合:污染场景只含共享策略短语(无 severity/block 风味标记),所以 handle.ts:1868 的 forge 路径解析不出 variant、落穿到 prepare-anthropic.ts:75 的 passthrough——字节级原样转发且早退于 processTurn 之前:会话状态冻结(acp_status 0 块)、nudge/注入/标签全部消失、上游计费照涨。你看到的 auto-mode classifier passthrough 行正是这条路径打的。
    4. 修法方向(修决策点,不堵症状):把检测收窄到分类器信号实际出现的位置——① 要求用户文本里存在成对 <transcript>…</transcript> 且包裹内容 ≥512 字符(真 wrapper 装的是整段扁平化会话,最小也是 KB 级;引用字面量/注释跨度最多 ~100 字符);② 策略措辞只在 system + 用户文本块里找,排除 tool_result payload / assistant 文本 / tools JSON(客户端契约里措辞只出现在 system 或 transcript 帧的用户消息后缀,one-shot 请求本身没有工具结果);③ 魔法停止词维持顶层字段检查。方向偏保守:漏掉真分类器 = 原样转发(pre-auto mode 状态丢失,会话累计输入了593.44M tokens #2740 行为,计费但安全);误判 = 对真实回合伪造 allow 判定或杀死会话压缩——后者才是不可接受的。

    正在实现,带回归测试;完成后回 PR 链接。

  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    **修复完成:PR https://github.com/ranxianglei/billion-context/pull/3920**(`fix: auto-mode classifier gate ignores marker strings quoted in history (#3908),分支 2026-10-20_auto-mode-classifier-gate-narrow`,已基于当前 master、本地定向测试 22/22 + typecheck 干净,全量回归交给 CI)。

    结构化八问:

    1. 是什么问题:会话历史里一旦出现「<transcript> + 策略短语」这对字符串(你的场景:某次工具返回带进了 bili 自己的源码片段),auto-mode 分类器检测器就把该会话此后每条请求都误判成分类器请求——压缩/nudge/标签渲染全部静默停摆,inbound==outbound 字节级原样转发,billed input 照涨。
    2. 什么原因导致的:检测门扫描的是整段重发历史(system + 全部消息文本含 tool_result payload + tools JSON)找合取命中;「合取不可能被正常编码会话伪造」的设计假设被 bili 源码本身证伪(src/auto-mode-forge.ts 同时含两族标记)。一旦经工具返回或聊天粘贴进入历史,永久命中——这是检测决策点扫描面过宽的缺陷。
    3. 影响范围与严重程度:任何 Anthropic wire 客户端都可能触发(你的是 DSH V0.2.1-rc.2 + deepseekv4.1flash1017);触发条件 = 会话中任一消息/工具结果同时含两族标记(读 bili 源码、安全类文档都够)。p1:核心承诺静默失灵、计费无界增长直至撞窗口、全程无提示。无数据损坏——状态是冻结不是破坏,手动 compress 一直可用(你也验证了)。
    4. 怎么修复的:把检测收窄到分类器信号实际出现的位置:① 用户文本里要求成对 <transcript>…</transcript> 且包裹 ≥512 字符(真 wrapper 装整段扁平化会话,最小也是 KB 级;引用字面量/注释跨度最多 ~100 字符);② 策略措辞只在 system + 用户文本块里找,排除 tool_result payload / assistant 文本 / tools JSON(one-shot 分类器请求本身没有工具结果);③ 魔法停止词维持顶层字段检查。方向刻意偏保守:漏判 = 原样转发(pre-auto mode 状态丢失,会话累计输入了593.44M tokens #2740 行为,计费但安全);误判 = 伪造 allow 判定或杀死压缩(不可接受)。
    5. 是否有回归问题:审过的既有行为——真实 CC 分类器全部形状(stage-1 non-fast/fast、stage-2 × severity/block 风味、契约里的各放置位置)仍正确识别(既有正向测试行全部保留通过);Auto mode classifier requires confirmation for this command. 3 consecutive actions were blocked. #353 纪律(flavor 解析不出 → passthrough、从不输出畸形判定)不变;两个调用点(forge 拦截 / passthrough)共用同一谓词同步收窄。除下述有意变更外未发现无意回归。
    6. 是否破坏缓存:不涉及——未触碰缓存/重试/增量游标/去重键;passthrough 路径本来就不写会话状态,修复后会话回到正常管道,状态从冻结处继续。
    7. 是否改了设计方向:不涉及——只收窄决策点的扫描面,架构与数据流不变。
    8. 是否引入新配置:无新增 env/config/默认值。

    行为变更披露(旧 → 新):旧门 = 「<transcript> 裸子串出现在 system+全部消息+tools JSON 任意位置」AND(魔法停止词 OR 策略短语任意位置);新门 = 「用户文本含成对 wrapper 且包裹 ≥512 字符」AND(魔法停止词 OR 策略短语限于 system/用户文本块)。影响:被引用字符串污染的会话恢复正常(本修复目的);理论残留——若真分类器的扁平化 transcript <512 字符会退化为原样转发,评估为不可实现(CC jsonl 信封使最小 transcript 也是 KB 级),且退化方向安全。

    对你的当前会话:v0.1.202 运行中的进程要等这个修复发版后更新并重启 dsh 才生效;届时该会话即使恢复继续也会立即回到正常压缩,无需清历史。合并按仓库规则由人操作,CI 绿后可合。

  4. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收尾状态汇总(详情见上面两条回复):修复已提交为 PR #3920(Closes #3908),本地定向测试 22/22 + typecheck 干净。当前 CI:门禁类 12 项全绿、无失败,全量测试分片(ubuntu/windows × node 22/24)仍在跑,预计还需一段时间。CI 全绿后合并按仓库规则由人操作;若 CI 红我会定向排查并回更新。

  5. added a commit that references this issue on Oct 20, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions