Skip to content

[Bug][dsh][0.1.208] Kill switch / egress fuse only measures message.text: a session with 26,903 messages and only 1.44 M | [Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.… #5000

Closed

Description

@yanghuan

TL;DR

estimateCoreMessagesUpperBytes() 是三道判死闸(egress fuse、preflight fail-fast、压缩后再检)背后唯一的判据,而它只累加 m.text:

// billion-context 0.1.208, dist/index.js @3571814
function estimateCoreMessagesUpperBytes(messages){
  let bytes = 0;
  for (const m of messages) bytes += Buffer.byteLength(m.text ?? "", "utf8");
  return bytes;
}

四类真实存在、真实进入出站请求体的载荷对它完全不可见:

  1. 消息条数带来的 JSON 信封开销 —— messages[] 里每条消息的骨架({"role":…,"content":…,"tool_call_id":…}、逐 block 的对象、id)。本次实测约 490 B/条。
  2. tool-call 参数 —— 挂在 tool_calls[].function.arguments 上,不在 m.text 里。
  3. tool schema 块 —— tools[] 数组(本次会话 84 个工具);它整个在请求体里,却从头到尾不在 messages[] 里,所以这个函数必然看不见它。
  4. reasoning / thinking 块 —— 即使线上真的传输了,本函数也按 0 计(密度那一侧见 Output clamp starves DSH compression despite ample actual context #2122)。

因为这个闸是个由纯文本量推出来的字节下限,一条会话可以在线上任意庞大而闸始终沉默。我们有一个生产实例正好就是这样。

环境

  • billion-context 0.1.208,commit b261c333(/__bili/status → version: 0.1.208, diskVersion: 0.1.208, stale: false, updateReady: null)
  • 使用模式:Plugin native(bili 作为 DSH 的插件进程内运行,非 proxy/launcher/MITM)
  • 客户端:DSH desktop(Windows 版),clientHint: dsh
  • storage:storage.unified: legacy;config:{"compress":null,"providers":{}}
  • 声明窗口:effectiveContextLimit = 872000(native 1000000;[headroom] … reserved 128000 for max output 128000, cap 0.25 via compress.outputHeadroomMaxPct)
  • 模型:group/deepseek-flash,经一个内部 router 转发,上游候选为 <MaaS 供应商>/deepseek-v4.1-flash 与 <免费 relay>/deepseek-v4.1-flash-free
  • 操作系统:Windows
  • 会话文件:session-<A>(frames=22710, events=82479, 67.37 MiB)

观察 A —— 闸全程沉默,55.2 MiB 的请求体被放行(这就是 bug)

同一条会话,bili.log 里:

[sess=session-<A>] request: 26086 msgs, inbound=55.2MiB, outbound=1.4MiB, local=3627ms
[sess=session-<A>] request: 26131 msgs, inbound=55.2MiB, outbound=1.5MiB, local=3552ms
…  (26,115 → 26,138 msgs,inbound 一路 55.2 MiB)

该会话的面消息普查(从 session.v4.jsonl.zstd 解码得到):

事件类型 条数
assistant/message 12,638
tool/result 12,732
user/message 751
developer/message 398
system/message 384
面消息合计 26,903

同一段历史喂给 estimator 的结果:

estimator(只算 m.text) : 1,320,177 chars = 1,507,051 bytes = 1.44 MiB
未计入:
  reasoning             : 1.08 MiB
  tool-call 参数         : 0.75 MiB(12,715 块)
  image 块               : 1,355
  信封 @ ~490B/条        : 12.57 MiB

两个在用窗口对应的判死线:

窗口  872000 → max(2e6, 872000×7.5)  = 6,540,000 B = 6.24 MiB  → estimator 1.44 MiB  UNDER(闸沉默)
窗口 1000000 → max(2e6, 1000000×7.5) = 7,500,000 B = 7.15 MiB  → estimator 1.44 MiB  UNDER(闸沉默)

也就是说:estimator 得错 4.5 倍以上,这个闸才会抬起手;而真实线上请求体是 55.2 MiB —— 约为 estimator 的 88 倍。请求被转发了,上游直接拒收:

openai-compatible-chat-conn:…/<MaaS 供应商>/deepseek-v4.1-flash: [413]:
  data:{"error":{"code":"ModelArts.81113",
    "message":"Invalid request body, exceeds the maximum size , messages max size is: 5000.",
    "type":"PayloadTooLarge"}} (reset after 30s) (HTTP 413)
<免费 relay>/deepseek-v4.1-flash-free: [400]:
  Your request resulted in more tokens than this model's maximum context length allows.

注意上游自己的措辞 —— "messages max size is: 5000" 是一个条数/维度限制,而 bili 对这件事毫无概念:dist/index.js 里 maxMessages、MAX_MESSAGES、maxMessageCount、msgCount、.length>5000 全部 0 命中;message count 只有 2 处,且都是面板文案(det.attr_rewind_tip 之类)。

观察 B —— 闸真抬起手的时候,它杀掉了一个本来能救回来的会话(伤害面)

同一台机器上另一条会话 session-<B>(frames=6092 events=22222):

estimator(只算 m.text) : 10,818,578 chars = 11,586,362 bytes = 11.05 MiB
窗口 872000 判死线        : 6,540,000 B = 6.24 MiB  → OVER → preflight fail-fast 413 retryable=false
bili 自己为那次请求报的 core text: 13,912,748 B

这里 estimator 越线、方向是对的 —— 但这条会话当时仍然可以通过折叠救回来,却被终止且不可重试:

2026-10-26T14:28:57.251Z [error] preflight fail-fast 413 (retryable=false):
  payload core text alone is ~13912748 bytes … ≥ ~1855034 tokens vs the model window 872000
  (model=group/deepseek-flash); no upstream can accept it, so it was NOT forwarded even for evidence.

而紧邻的前一次尝试已经证明这份载荷是可折叠的 —— preflight compressed 3 range(s), ~215907 tokens saved (4323929 → 3580302) —— 只是那一轮被宿主自己的 300 秒 stream-idle 超时打断了。重试时 fuse 直接拿字节估算下了结论,一次折叠都没再试。

这正是 #2915 的 §3 那一面("doomed-probe 把可证超窗、但完全可压缩的载荷变成终止性错误"),针对它的专门修复 #2928 处于 closed/unmerged —— 已核实没有进 0.1.208(grep "nothing outside the protected recent zone" → 0 命中,foldableCount → 0 命中)。

机制(0.1.208,字符偏移;dist/index.js 是单行)

常量(@5060200):

var DOOMED_PROBE_BYTES_PER_TOKEN = 7.5;
var DOOMED_PROBE_ABSOLUTE_BYTES = 2e6;

另有 MIN_ASSUMED_WINDOW_TOKENS = 1e6(@1135001),所以闸用的窗口是 Math.max(declaredWindow, 1e6)。

三个调用点,全部吃同一个「只含文本」的量:

# 偏移 闸 代码
1 @4971206 egress fuse(最后发送点) const fuseMsgs = prepared.processedMessages.length>0 ? prepared.processedMessages : prepared.originalMessages; const fuseBytes = estimateCoreMessagesUpperBytes(fuseMsgs); if (fuseBytes > Math.max(DOOMED_PROBE_ABSOLUTE_BYTES, fuseWindow*DOOMED_PROBE_BYTES_PER_TOKEN)) { … }
2 @5071178 preflight fail-fast(#2313 的 probeForEvidence 分支) const coreTextBytes = estimateCoreMessagesUpperBytes(prepared.processedMessages); if (coreTextBytes > Math.max(DOOMED_PROBE_ABSOLUTE_BYTES, limit*DOOMED_PROBE_BYTES_PER_TOKEN)) { … 413, retryable:false … }
3 @5083145 压缩后再检 const doomBytes = estimateCoreMessagesUpperBytes(outMsgs); if (doomBytes > Math.max(…) ) { … }

三处都没有看 fuseMsgs.length、没有看 tools[]、没有看 tool_calls[].function.arguments,也没有看它正在审判的那个序列化请求体本身。

复现

两条,互相独立:

  1. 盲区(不需要代理侧复现,纯算术):取任意一条消息条数很高、文本很小的 DSH 会话,解码 JSONL、重建面消息列表、按 Buffer.byteLength(m.text ?? "") 求和。若这个和低于 max(2e6, window×7.5),而真实 messages[] 序列化远高于它,就是观察 A。我们的解码数据:26,903 条消息 → estimator 1.44 MiB,真实请求体 55.2 MiB。
  2. 终止性 fuse(需要一条越线会话):一条 estimator 越线、且本来可折叠的会话,在一次被打断的 preflight 之后的重试路径上会拿到 413 retryable=false,期间不尝试任何折叠 —— 见观察 B。

为什么现有 issue 不覆盖这件事

我把 issue 空间搜了一遍(is:issue in:title 搜 413、preflight、fuse、doomed、estimate、core text、tool schema、envelope、schema,外加正文搜 "estimateCoreMessagesUpperBytes"),并逐条读了最接近的候选。差别如下:

issue 为什么不是这一条
#829 closed 承认 overhead 估算漏掉一整类载荷 —— 但漏的是 developer/system 消息本身,不是条数/信封/参数/schema
#2391 closed 承认"序列化后的 tool schema … 未被捕获",但定位在 instruction 预算问题,且已关闭
#3947 closed 估算低估约 19 倍 —— 但驱动因素是 image base64;反方向(高估)是 #4111
#4543 open 是字节下限的换算系数对 CJK 不合适,不是被求和的字段集合不对
#4079 open(伞 issue) 转发闸 / 冷却锁死;是个合适的父节点,但计数口径不是它的主题
#4884 / #3846 / #4215 closed 分别是「fuse 抢在折叠之前」/「基线变估算后被遗忘」/「preflight 被打断」——都是时序与状态面,都默认那个字节数本身是有意义的
#4974 open nudge 报 1% 而 preflight 对 9.24 MiB 报 413 —— 同为"两块度量打架",但根因是侧请求把基线钉住
#2915 §3 + closed #2928 明确把计数口径排除在范围外:它修的是"别把可折叠的载荷送死",不是"这个数本身对不对"

doomed 搜索 → 0 结果。open/closed 都没有任何 issue 把消息条数、JSON 信封、tool schema 列为 estimateCoreMessagesUpperBytes 的缺失项。

建议的修复方向

最小改动,且与 #2928 是叠加关系而不是竞争:

  1. 让闸去量它真正在把守的东西。 fuse 就坐在写线上直前,那里序列化后的请求体(或其精确字节长度)本来就可拿到 —— 与 sidePassthrough 无关。优先用真实请求体长度取代任何估算。退一步至少补上四类缺失项:messages.length × 信封系数、Σ |tool_calls[].function.arguments|、Σ |tools[].serialized|,以及线上真正传输时的 reasoning。
  2. 加一个条数维度。 字节下限表达不了 messages max size is: 5000。一个独立可配置的消息条数闸,能直接拦住观察 A。
  3. 把 fused 判成 "unknown" 而不是 "doomed"。 即 [PR] fix(dsh): doomed-probe guard folds over-window conversations instead of dead-ending (#2915) #2928 的形状 —— 保留区之外只要有可折叠内容,就落到折叠机制去。并且在真超限时给出诚实的诊断,指明是哪一维溢出(bytes / count / tools);现在的文案让用户"remove or trim the oversized content (e.g. a giant paste or tool result)",对一条 26,903 条消息、正文只有 1.44 MiB 的会话是主动误导。

附件

上面的数字来自一个只读测量脚本(在解码后的 DSH v4 事件上大致复刻该 estimator;它相对 bili 自己的数字会偏小,例如第二条会话它给 11.05 MiB、bili 报 13.91 MB,因为它没有把 tool-call 参数渲染进 m.text):

// node measure-estimate.cjs <session.v4.jsonl.zstd>
// 扫描 DSH zstd 分帧、解码 v4 JSONL、重建面消息列表,
// 按 Buffer.byteLength(m.text ?? "") 精确复刻 estimateCoreMessagesUpperBytes,
// 并把四类未计入量与两个窗口的判死线一起打印出来。

需要的话我可以补上解码后的普查数据、bili.log 切片,或(脱敏后的)会话 JSONL。

Activity

  1. changed the title [-][Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.81113 "messages max size is: 5000")[/-] [+][Bug][dsh][0.1.208] Kill switch / egress fuse only measures message.text: a session with 26,903 messages and only 1.44 M | [Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.…[/+] on Oct 27, 2026
  2. ranxianglei commented on Oct 27, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    **查重:不重复。**已在 master @ 24e71f637 独立核验(v0.1.208 tag 不是 master 祖先,修复以当前 master 为基线)。你贴的候选表我逐条复核过,另补搜了 open+closed 的 doomed / egress fuse / core text alone——0 命中。最近的两个:#4079(forward-gate 伞,计量口径不是它的主题)、#2915/#2928(已关,见下面第 5 点)。

    标签: bug dsh scope/wiring p1(特定条件下会话完全不可用:高频会话每请求被上游 413、超 bar 可折叠会话被终态拒绝)。

    审核结论(动手前的三层核验):

    1. 三个调用点全部坐实(master):egress fuse(src/server/relay.ts forward() 内)、preflight fail-fast(src/server.ts probeForEvidence 分支)、post-compress recheck——三处消费同一个只量 m.text 的 estimateCoreMessagesUpperBytes,与你在 0.1.208 dist 上的定位一致。

    2. 对你字段清单的一处修正:四个声称缺失的类里,tool-call args 和 reasoning 其实已经在计数内——kernel 的四条 wire codec 都把两者投影进 m.text(kernel/src/wire/openai.ts:311 text: tc.function.arguments;anthropic/google/responses 同理)。你脚本相对 bili 自己数字偏小(session B 11.05 MiB vs 13.91 MB)正是这个差。真正不可见的类是 system 文本 + tool schemas(84 个工具的 manifest 是 MB 级)——preflight 触发器侧早用 estimateWireOverhead(track: plugin-mode proxy-side emergency truncation (last-resort backstop, deferred from #467) #470)给它们计价了,唯独三个 doom gate 的字节地板不给:同一份 payload,触发器按全口径量、守卫按残口径量,这就是缺陷根因。

    3. envelope(你的 12.57 MiB)不该加,「直接用真实 body 长度」在同一个 bar 下也不安全:envelope 是传输层 JSON 语法,任何 tokenizer 都不对它计费。字节地板的不变式是「bytes ÷ 7.5 > window ⇒ 任何 tokenizer 都塞不下」——把不计费的字节混进去会破坏这个不变式,对「密集但装得下」的 payload 产生假阳性(例:1M 窗口、正文 6.8MB@最密密度刚好装下,加 5000 条消息的 envelope 2.45MB + manifest 0.5MB ≈ 9.75MB > 7.5MB bar → 误杀)。所以正确修法是把真正被计费的缺失类(system + tools)补进地板,从实际出站 body 测量,而不是换整个 body 长度。

    4. 观察 A 的两个拒收原因各是一个独立维度,都超出纯计量修复:ModelArts messages max size is: 5000 是消息条数墙——路由特有,立不了普适常量(写死 5000 会误杀其他上游),需要机制决策;free relay 的 token 溢出主要是图片质量(~40 MiB base64 / 1355 张)——plugin 车道本来就没有 preflight(relay.ts 注释里明说的架构事实),图片计费通道从未运行。这两项走 decision request,不擅自发明配置面。

    5. 观察 B = [PR] fix(dsh): doomed-probe guard folds over-window conversations instead of dead-ending (#2915) #2928 的 fall-through 形状:该 PR 是在 owner 陈旧票清理里被关的(fix(dsh): model switch drops all folds — fold-reconcile #2396 detect-only cannot re-anchor rewritten tool-call ids → doom-probe 502 session death #2915 先关、PR 随关,floor 12 留了「判断有误可直接 reopen」的后门);你验证 0.1.208 无 foldableCount 命中,证明症状仍然活着。是否重开由你拍板,我会把证据整理进 decision request。

    计划(两条线并行):

    本 PR 只会引用 #5000 而不 Closes 它(只解决计量口径 facet),拆分关系会在 PR 与 decision request 里写清。开工。

  3. ranxianglei commented on Nov 8, 2026

    @ranxianglei
    Owner

    #5932(2026-11-08 合入)修复了本 issue 的核心缺陷(计量口径):三道转发闸不再只按 m.text 字节估算。measuredOutboundTokens(#554 同源计量器 estimateRawBodyTokens,走解析后真实出站体的全部字符串叶)已接进「压缩后再检闸」、#1839 仲裁臂与 relay 出站熔断——issue 列的四类缺失量(JSON 信封、tool_calls 参数、tools[]、线上真正传输的 reasoning)从此全部可见,CJK 按真实密度计。观察 A 那种 55.2 MiB / 84 工具 / core text 仅 1.44 MiB 的体,现在在熔断处按真实体计量:实测超窗即本地 413(retryable:false),不再沉默放行后被上游 413 拒收。

    issue「建议的修复方向」三条中,第 1 条(闸量真实把守的体)已完成;以下两条本 PR 未做,保持 open:

    建议:本 issue 保持 open 待第 2/3 条落地,或把这两条拆成后续 issue。

  4. added a commit that references this issue on Nov 8, 2026
  5. ranxianglei commented on Nov 8, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收到,已对 origin/master(fe963d7f5c)逐点独立核实,#5932 确实把计量口径这条修完了,且比我并行做的 PR 覆盖面更广:

    核实结果(#5932 后 master 现状)

    更正我此前的回复:我先前把 PR #5006 作为本 issue 的修复提出——它是在不知情下并行开发的另一条路线(从真实出站体提取 system+tools 字节、刻意排除 JSON 信封;#5932 是全叶子遍历 + 保守高估偏置)。现被 #5932 完全取代:建议关闭 PR #5006(agent 无权限关单,留给您)。无需打捞:它的双向 e2e 与文案钉都绑在自己的实现上,#5932 自带回归覆盖(issue4079/request-body-budget/issue4185/side-request-isolation 的 image_url 排除钉)。其中 fail-fast 探针位我加了 system/tools 字节——按 #5932 的设计那会破坏 #2313/#1001 契约,不采纳是对的。

    第 2/3 条:决策请求 issue #5007(已打 p1)此前已立,两条都在里面并附选项与建议——条数维度闸(推荐 learn-on-failure 逐路由 cap,复用 #4124 imageCountCaps 模式)、fused→unknown 而非 doomed(推荐 reopen #2928,含其两个未决项)。按您的建议本 issue 保持 open 待第 2/3 条落地,以 #5007 为合并跟踪器;若您倾向拆成两个独立 issue,说一声我就拆。

    判定:核心缺陷(计量口径)由 #5932 关闭 ✅;PR #5006 待您关闭;第 2/3 条 → #5007 待拍板。

  6. ranxianglei commented on Nov 8, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收口确认(细节见上一条):您评论后的动作已全部完成——① 对 origin/master(fe963d7f5c)逐点核实,#5932 确实关闭计量口径缺陷(三处转发闸 + #1839 臂 + 元数据记账 + 32MiB 准入;fail-fast 探针位有意保留字节地板,#2313/#1001 契约);② PR #5006 已在 PR 线程标 superseded、留您关闭;③ 第 2/3 条在决策 issue #5007(p1)待拍板,推荐已列。agent 侧无待办;本 issue 保持 open 待第 2/3 条落地。

  7. added a commit that references this issue on Nov 9, 2026
  8. ranxianglei commented on Nov 9, 2026

    @ranxianglei
    Owner

    关闭说明(全部三项已修,均已在 master):

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions