Repository navigation
Description
TL;DR
estimateCoreMessagesUpperBytes() 是三道判死闸(egress fuse、preflight fail-fast、压缩后再检)背后唯一的判据,而它只累加 m.text:
// billion-context 0.1.208, dist/index.js @3571814
function estimateCoreMessagesUpperBytes(messages){
let bytes = 0;
for (const m of messages) bytes += Buffer.byteLength(m.text ?? "", "utf8");
return bytes;
}四类真实存在、真实进入出站请求体的载荷对它完全不可见:
- 消息条数带来的 JSON 信封开销 ——
messages[]里每条消息的骨架({"role":…,"content":…,"tool_call_id":…}、逐 block 的对象、id)。本次实测约 490 B/条。 - tool-call 参数 —— 挂在
tool_calls[].function.arguments上,不在m.text里。 - tool schema 块 ——
tools[]数组(本次会话 84 个工具);它整个在请求体里,却从头到尾不在messages[]里,所以这个函数必然看不见它。 - reasoning / thinking 块 —— 即使线上真的传输了,本函数也按 0 计(密度那一侧见 Output clamp starves DSH compression despite ample actual context #2122)。
因为这个闸是个由纯文本量推出来的字节下限,一条会话可以在线上任意庞大而闸始终沉默。我们有一个生产实例正好就是这样。
环境
- billion-context 0.1.208,commit
b261c333(/__bili/status→version: 0.1.208, diskVersion: 0.1.208, stale: false, updateReady: null) - 使用模式:Plugin native(bili 作为 DSH 的插件进程内运行,非 proxy/launcher/MITM)
- 客户端:DSH desktop(Windows 版),
clientHint: dsh - storage:
storage.unified: legacy;config:{"compress":null,"providers":{}} - 声明窗口:
effectiveContextLimit = 872000(native 1000000;[headroom] … reserved 128000 for max output 128000, cap 0.25 via compress.outputHeadroomMaxPct) - 模型:
group/deepseek-flash,经一个内部 router 转发,上游候选为<MaaS 供应商>/deepseek-v4.1-flash与<免费 relay>/deepseek-v4.1-flash-free - 操作系统:Windows
- 会话文件:
session-<A>(frames=22710, events=82479, 67.37 MiB)
观察 A —— 闸全程沉默,55.2 MiB 的请求体被放行(这就是 bug)
同一条会话,bili.log 里:
[sess=session-<A>] request: 26086 msgs, inbound=55.2MiB, outbound=1.4MiB, local=3627ms
[sess=session-<A>] request: 26131 msgs, inbound=55.2MiB, outbound=1.5MiB, local=3552ms
… (26,115 → 26,138 msgs,inbound 一路 55.2 MiB)
该会话的面消息普查(从 session.v4.jsonl.zstd 解码得到):
| 事件类型 | 条数 |
|---|---|
| assistant/message | 12,638 |
| tool/result | 12,732 |
| user/message | 751 |
| developer/message | 398 |
| system/message | 384 |
| 面消息合计 | 26,903 |
同一段历史喂给 estimator 的结果:
estimator(只算 m.text) : 1,320,177 chars = 1,507,051 bytes = 1.44 MiB
未计入:
reasoning : 1.08 MiB
tool-call 参数 : 0.75 MiB(12,715 块)
image 块 : 1,355
信封 @ ~490B/条 : 12.57 MiB
两个在用窗口对应的判死线:
窗口 872000 → max(2e6, 872000×7.5) = 6,540,000 B = 6.24 MiB → estimator 1.44 MiB UNDER(闸沉默)
窗口 1000000 → max(2e6, 1000000×7.5) = 7,500,000 B = 7.15 MiB → estimator 1.44 MiB UNDER(闸沉默)
也就是说:estimator 得错 4.5 倍以上,这个闸才会抬起手;而真实线上请求体是 55.2 MiB —— 约为 estimator 的 88 倍。请求被转发了,上游直接拒收:
openai-compatible-chat-conn:…/<MaaS 供应商>/deepseek-v4.1-flash: [413]:
data:{"error":{"code":"ModelArts.81113",
"message":"Invalid request body, exceeds the maximum size , messages max size is: 5000.",
"type":"PayloadTooLarge"}} (reset after 30s) (HTTP 413)
<免费 relay>/deepseek-v4.1-flash-free: [400]:
Your request resulted in more tokens than this model's maximum context length allows.
注意上游自己的措辞 —— "messages max size is: 5000" 是一个条数/维度限制,而 bili 对这件事毫无概念:dist/index.js 里 maxMessages、MAX_MESSAGES、maxMessageCount、msgCount、.length>5000 全部 0 命中;message count 只有 2 处,且都是面板文案(det.attr_rewind_tip 之类)。
观察 B —— 闸真抬起手的时候,它杀掉了一个本来能救回来的会话(伤害面)
同一台机器上另一条会话 session-<B>(frames=6092 events=22222):
estimator(只算 m.text) : 10,818,578 chars = 11,586,362 bytes = 11.05 MiB
窗口 872000 判死线 : 6,540,000 B = 6.24 MiB → OVER → preflight fail-fast 413 retryable=false
bili 自己为那次请求报的 core text: 13,912,748 B
这里 estimator 越线、方向是对的 —— 但这条会话当时仍然可以通过折叠救回来,却被终止且不可重试:
2026-10-26T14:28:57.251Z [error] preflight fail-fast 413 (retryable=false):
payload core text alone is ~13912748 bytes … ≥ ~1855034 tokens vs the model window 872000
(model=group/deepseek-flash); no upstream can accept it, so it was NOT forwarded even for evidence.
而紧邻的前一次尝试已经证明这份载荷是可折叠的 —— preflight compressed 3 range(s), ~215907 tokens saved (4323929 → 3580302) —— 只是那一轮被宿主自己的 300 秒 stream-idle 超时打断了。重试时 fuse 直接拿字节估算下了结论,一次折叠都没再试。
这正是 #2915 的 §3 那一面("doomed-probe 把可证超窗、但完全可压缩的载荷变成终止性错误"),针对它的专门修复 #2928 处于 closed/unmerged —— 已核实没有进 0.1.208(grep "nothing outside the protected recent zone" → 0 命中,foldableCount → 0 命中)。
机制(0.1.208,字符偏移;dist/index.js 是单行)
常量(@5060200):
var DOOMED_PROBE_BYTES_PER_TOKEN = 7.5;
var DOOMED_PROBE_ABSOLUTE_BYTES = 2e6;另有 MIN_ASSUMED_WINDOW_TOKENS = 1e6(@1135001),所以闸用的窗口是 Math.max(declaredWindow, 1e6)。
三个调用点,全部吃同一个「只含文本」的量:
| # | 偏移 | 闸 | 代码 |
|---|---|---|---|
| 1 | @4971206 | egress fuse(最后发送点) | const fuseMsgs = prepared.processedMessages.length>0 ? prepared.processedMessages : prepared.originalMessages; const fuseBytes = estimateCoreMessagesUpperBytes(fuseMsgs); if (fuseBytes > Math.max(DOOMED_PROBE_ABSOLUTE_BYTES, fuseWindow*DOOMED_PROBE_BYTES_PER_TOKEN)) { … } |
| 2 | @5071178 | preflight fail-fast(#2313 的 probeForEvidence 分支) |
const coreTextBytes = estimateCoreMessagesUpperBytes(prepared.processedMessages); if (coreTextBytes > Math.max(DOOMED_PROBE_ABSOLUTE_BYTES, limit*DOOMED_PROBE_BYTES_PER_TOKEN)) { … 413, retryable:false … } |
| 3 | @5083145 | 压缩后再检 | const doomBytes = estimateCoreMessagesUpperBytes(outMsgs); if (doomBytes > Math.max(…) ) { … } |
三处都没有看 fuseMsgs.length、没有看 tools[]、没有看 tool_calls[].function.arguments,也没有看它正在审判的那个序列化请求体本身。
复现
两条,互相独立:
- 盲区(不需要代理侧复现,纯算术):取任意一条消息条数很高、文本很小的 DSH 会话,解码 JSONL、重建面消息列表、按
Buffer.byteLength(m.text ?? "")求和。若这个和低于max(2e6, window×7.5),而真实messages[]序列化远高于它,就是观察 A。我们的解码数据:26,903 条消息 → estimator 1.44 MiB,真实请求体 55.2 MiB。 - 终止性 fuse(需要一条越线会话):一条 estimator 越线、且本来可折叠的会话,在一次被打断的 preflight 之后的重试路径上会拿到
413 retryable=false,期间不尝试任何折叠 —— 见观察 B。
为什么现有 issue 不覆盖这件事
我把 issue 空间搜了一遍(is:issue in:title 搜 413、preflight、fuse、doomed、estimate、core text、tool schema、envelope、schema,外加正文搜 "estimateCoreMessagesUpperBytes"),并逐条读了最接近的候选。差别如下:
| issue | 为什么不是这一条 |
|---|---|
| #829 closed | 承认 overhead 估算漏掉一整类载荷 —— 但漏的是 developer/system 消息本身,不是条数/信封/参数/schema |
| #2391 closed | 承认"序列化后的 tool schema … 未被捕获",但定位在 instruction 预算问题,且已关闭 |
| #3947 closed | 估算低估约 19 倍 —— 但驱动因素是 image base64;反方向(高估)是 #4111 |
| #4543 open | 是字节下限的换算系数对 CJK 不合适,不是被求和的字段集合不对 |
| #4079 open(伞 issue) | 转发闸 / 冷却锁死;是个合适的父节点,但计数口径不是它的主题 |
| #4884 / #3846 / #4215 closed | 分别是「fuse 抢在折叠之前」/「基线变估算后被遗忘」/「preflight 被打断」——都是时序与状态面,都默认那个字节数本身是有意义的 |
| #4974 open | nudge 报 1% 而 preflight 对 9.24 MiB 报 413 —— 同为"两块度量打架",但根因是侧请求把基线钉住 |
| #2915 §3 + closed #2928 | 明确把计数口径排除在范围外:它修的是"别把可折叠的载荷送死",不是"这个数本身对不对" |
doomed 搜索 → 0 结果。open/closed 都没有任何 issue 把消息条数、JSON 信封、tool schema 列为 estimateCoreMessagesUpperBytes 的缺失项。
建议的修复方向
最小改动,且与 #2928 是叠加关系而不是竞争:
- 让闸去量它真正在把守的东西。 fuse 就坐在写线上直前,那里序列化后的请求体(或其精确字节长度)本来就可拿到 —— 与
sidePassthrough无关。优先用真实请求体长度取代任何估算。退一步至少补上四类缺失项:messages.length × 信封系数、Σ |tool_calls[].function.arguments|、Σ |tools[].serialized|,以及线上真正传输时的 reasoning。 - 加一个条数维度。 字节下限表达不了
messages max size is: 5000。一个独立可配置的消息条数闸,能直接拦住观察 A。 - 把 fused 判成 "unknown" 而不是 "doomed"。 即 [PR] fix(dsh): doomed-probe guard folds over-window conversations instead of dead-ending (#2915) #2928 的形状 —— 保留区之外只要有可折叠内容,就落到折叠机制去。并且在真超限时给出诚实的诊断,指明是哪一维溢出(
bytes/count/tools);现在的文案让用户"remove or trim the oversized content (e.g. a giant paste or tool result)",对一条 26,903 条消息、正文只有 1.44 MiB 的会话是主动误导。
附件
上面的数字来自一个只读测量脚本(在解码后的 DSH v4 事件上大致复刻该 estimator;它相对 bili 自己的数字会偏小,例如第二条会话它给 11.05 MiB、bili 报 13.91 MB,因为它没有把 tool-call 参数渲染进 m.text):
// node measure-estimate.cjs <session.v4.jsonl.zstd>
// 扫描 DSH zstd 分帧、解码 v4 JSONL、重建面消息列表,
// 按 Buffer.byteLength(m.text ?? "") 精确复刻 estimateCoreMessagesUpperBytes,
// 并把四类未计入量与两个窗口的判死线一起打印出来。需要的话我可以补上解码后的普查数据、bili.log 切片,或(脱敏后的)会话 JSONL。
Activity
[-][Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.81113 "messages max size is: 5000")[/-][+][Bug][dsh][0.1.208] Kill switch / egress fuse only measures message.text: a session with 26,903 messages and only 1.44 M | [Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.…[/+]ranxianglei commentedon Oct 27, 2026
(ai: vllm-qwen/qwen3.8-27b)
**查重:不重复。**已在 master @
24e71f637独立核验(v0.1.208 tag 不是 master 祖先,修复以当前 master 为基线)。你贴的候选表我逐条复核过,另补搜了 open+closed 的doomed/egress fuse/core text alone——0 命中。最近的两个:#4079(forward-gate 伞,计量口径不是它的主题)、#2915/#2928(已关,见下面第 5 点)。标签:
bugdshscope/wiringp1(特定条件下会话完全不可用:高频会话每请求被上游 413、超 bar 可折叠会话被终态拒绝)。审核结论(动手前的三层核验):
三个调用点全部坐实(master):egress fuse(
src/server/relay.tsforward() 内)、preflight fail-fast(src/server.tsprobeForEvidence 分支)、post-compress recheck——三处消费同一个只量m.text的estimateCoreMessagesUpperBytes,与你在 0.1.208 dist 上的定位一致。对你字段清单的一处修正:四个声称缺失的类里,tool-call args 和 reasoning 其实已经在计数内——kernel 的四条 wire codec 都把两者投影进
m.text(kernel/src/wire/openai.ts:311text: tc.function.arguments;anthropic/google/responses 同理)。你脚本相对 bili 自己数字偏小(session B 11.05 MiB vs 13.91 MB)正是这个差。真正不可见的类是 system 文本 + tool schemas(84 个工具的 manifest 是 MB 级)——preflight 触发器侧早用estimateWireOverhead(track: plugin-mode proxy-side emergency truncation (last-resort backstop, deferred from #467) #470)给它们计价了,唯独三个 doom gate 的字节地板不给:同一份 payload,触发器按全口径量、守卫按残口径量,这就是缺陷根因。envelope(你的 12.57 MiB)不该加,「直接用真实 body 长度」在同一个 bar 下也不安全:envelope 是传输层 JSON 语法,任何 tokenizer 都不对它计费。字节地板的不变式是「bytes ÷ 7.5 > window ⇒ 任何 tokenizer 都塞不下」——把不计费的字节混进去会破坏这个不变式,对「密集但装得下」的 payload 产生假阳性(例:1M 窗口、正文 6.8MB@最密密度刚好装下,加 5000 条消息的 envelope 2.45MB + manifest 0.5MB ≈ 9.75MB > 7.5MB bar → 误杀)。所以正确修法是把真正被计费的缺失类(system + tools)补进地板,从实际出站 body 测量,而不是换整个 body 长度。
观察 A 的两个拒收原因各是一个独立维度,都超出纯计量修复:ModelArts
messages max size is: 5000是消息条数墙——路由特有,立不了普适常量(写死 5000 会误杀其他上游),需要机制决策;free relay 的 token 溢出主要是图片质量(~40 MiB base64 / 1355 张)——plugin 车道本来就没有 preflight(relay.ts 注释里明说的架构事实),图片计费通道从未运行。这两项走 decision request,不擅自发明配置面。观察 B = [PR] fix(dsh): doomed-probe guard folds over-window conversations instead of dead-ending (#2915) #2928 的 fall-through 形状:该 PR 是在 owner 陈旧票清理里被关的(fix(dsh): model switch drops all folds — fold-reconcile #2396 detect-only cannot re-anchor rewritten tool-call ids → doom-probe 502 session death #2915 先关、PR 随关,floor 12 留了「判断有误可直接 reopen」的后门);你验证 0.1.208 无
foldableCount命中,证明症状仍然活着。是否重开由你拍板,我会把证据整理进 decision request。计划(两条线并行):
本 PR 只会引用 #5000 而不 Closes 它(只解决计量口径 facet),拆分关系会在 PR 与 decision request 里写清。开工。
fix: 超窗请求不再裸发上游 — 三道转发闸按「真实出站体」计量 + 32MiB 成本带准入 (#5000 #4543 #5885 #5794
Merge pull request #5932 from ranxianglei/2026-11-08_measured-outboun…
ranxianglei commentedon Nov 8, 2026
#5932(2026-11-08 合入)修复了本 issue 的核心缺陷(计量口径):三道转发闸不再只按
m.text字节估算。measuredOutboundTokens(#554 同源计量器estimateRawBodyTokens,走解析后真实出站体的全部字符串叶)已接进「压缩后再检闸」、#1839 仲裁臂与 relay 出站熔断——issue 列的四类缺失量(JSON 信封、tool_calls 参数、tools[]、线上真正传输的 reasoning)从此全部可见,CJK 按真实密度计。观察 A 那种 55.2 MiB / 84 工具 / core text 仅 1.44 MiB 的体,现在在熔断处按真实体计量:实测超窗即本地 413(retryable:false),不再沉默放行后被上游 413 拒收。issue「建议的修复方向」三条中,第 1 条(闸量真实把守的体)已完成;以下两条本 PR 未做,保持 open:
messages max size is: 5000这类硬限制字节/token 量表达不了,独立可配置的消息条数闸仍缺;建议:本 issue 保持 open 待第 2/3 条落地,或把这两条拆成后续 issue。
Merge upstream/master (fe963d7): adopt the measured outbound-body egr…
ranxianglei commentedon Nov 8, 2026
(ai: vllm-qwen/qwen3.8-27b)
收到,已对 origin/master(fe963d7f5c)逐点独立核实,#5932 确实把计量口径这条修完了,且比我并行做的 PR 覆盖面更广:
核实结果(#5932 后 master 现状)
measuredOutboundTokens(src/server.ts:3749)= side request(max_tokens<=200)绕过 preflight 且不检查载荷体积,携带全量历史直转上游导致 400 #554 同源计量器estimateRawBodyTokens(src/preflight.ts:453,CJK 感知、走真实出站体全部字符串叶;image_url 等图片键在 NON_TEXT_BODY_KEYS 排除),接进三处转发闸:relay 出站熔断(src/server/relay.ts:743)、任何一轮没有拿到 usage 报告的请求,都会把上下文分母放大 12–20×(nudge 读到 >1000% usage、假 EMERGENCY、基线冻结数分钟) #1839 forward-once 仲裁臂(src/server.ts:~4399)、压缩后再检/[Bug] 新会话(无 usage 基线)preflight 把字符数当 token——折叠其实成功(2263796→1111212)却 fail-fast 502,上游实际只计费 540828 #3146/413 Deadlock: When an authenticated session exceeds the reservation window with zero collapsibles, the #3146 forwarding | 413 死锁:带身份会话超预留窗口且零可折叠时,#3146 转发门因 anonymous 条件不触发,会话从首条消息起永久不可用 #4185 post-fold 块(src/server.ts:~4533,measured tier 优先、字节地板保留为不可解析体的 fallback)。更正我此前的回复:我先前把 PR #5006 作为本 issue 的修复提出——它是在不知情下并行开发的另一条路线(从真实出站体提取 system+tools 字节、刻意排除 JSON 信封;#5932 是全叶子遍历 + 保守高估偏置)。现被 #5932 完全取代:建议关闭 PR #5006(agent 无权限关单,留给您)。无需打捞:它的双向 e2e 与文案钉都绑在自己的实现上,#5932 自带回归覆盖(issue4079/request-body-budget/issue4185/side-request-isolation 的 image_url 排除钉)。其中 fail-fast 探针位我加了 system/tools 字节——按 #5932 的设计那会破坏 #2313/#1001 契约,不采纳是对的。
第 2/3 条:决策请求 issue #5007(已打 p1)此前已立,两条都在里面并附选项与建议——条数维度闸(推荐 learn-on-failure 逐路由 cap,复用 #4124 imageCountCaps 模式)、fused→unknown 而非 doomed(推荐 reopen #2928,含其两个未决项)。按您的建议本 issue 保持 open 待第 2/3 条落地,以 #5007 为合并跟踪器;若您倾向拆成两个独立 issue,说一声我就拆。
判定:核心缺陷(计量口径)由 #5932 关闭 ✅;PR #5006 待您关闭;第 2/3 条 → #5007 待拍板。
ranxianglei commentedon Nov 8, 2026
(ai: vllm-qwen/qwen3.8-27b)
收口确认(细节见上一条):您评论后的动作已全部完成——① 对 origin/master(fe963d7f5c)逐点核实,#5932 确实关闭计量口径缺陷(三处转发闸 + #1839 臂 + 元数据记账 + 32MiB 准入;fail-fast 探针位有意保留字节地板,#2313/#1001 契约);② PR #5006 已在 PR 线程标 superseded、留您关闭;③ 第 2/3 条在决策 issue #5007(p1)待拍板,推荐已列。agent 侧无待办;本 issue 保持 open 待第 2/3 条落地。
Merge pull request #5973 from ranxianglei/2026-11-09_gate-count-ingest
ranxianglei commentedon Nov 9, 2026
关闭说明(全部三项已修,均已在 master):
network.maxMessages/BILI_MAX_MESSAGES条数闸(纯判死、不做条数折叠,token 触发器之前运行),26,903 条这种 token 达标但条数超标的体被本地 413 拦下,信息点名 COUNT 维度并给「重启/回退会话」指引。tools[] ~X,运维直接知道删什么。回归面:tests/issue4079、tests/issue4185、tests/issue5000-count-gate 等 332+ 用例全绿;CI 全绿后合入(de7bbc9f9)。
fix: 会话历史按「真实维度」拦死 — 条数闸(BILI_MAX_MESSAGES) + 32MiB 摄入成本带(BILI_INGEST…
test: adapt zero-fold anonymous arbitration pins to master's measured…
test: align the #4930 unknown-baseline guard with the current measure…
test: egress-fuse #5000 — assert the #7167 irreducible gate, not the …
fix: complete the oversize gate code unification — the two measured-b…
test: pin the unified context_too_large code on the oversize 413 gates