Repository navigation
Description
Description *
egress window fuse 与 preflight 压缩互相拆台:超窗会话被自产 413 卡死
英文标题:
Egress window fuse vetoes the preflight decision it just made — oversized session is trapped in a self-generated 413 loop
环境
| 项 | 值 |
|---|---|
| bili | 0.1.216(commit 6a641f378) |
| 客户端 | dsh 0.2.2-rc.3,profile web,clientHint deepseek-harness/0.2.2-rc.3 |
| 接入方式 | /bili/ URL 前缀代理(非插件模式) |
| 上游 | Command Code(https://<private-host>/provider/v1),protocol openai |
| 模型 | deepseek/deepseek-v4.1-flash,window 1,000,000 |
| 相关配置 | compress.nudgeGrowthTokens=50000、compress.minCompressRangeChars=10000(其余默认) |
| 时间 | 2026-11-19 15:02–15:11(UTC+8) |
现象
触发场景:用户在一个很大的 dsh 会话上「拉分支」(fork),新分支会话继承完整历史,然后在新会话里发第一条消息就收到 413:
Command Code API error 413: the request body exceeds the provider's size limit (the cap is undocumented, measured at about 50 MB) — the session history is too large to send, usually because of accumulated image attachments.
两个问题:
- 这条文案把原因指向「50 MB / 图片累积」,但实测日志显示真实原因是 token 超窗,与 50 MB 和图片都无关,用户据此无法定位。
- bili 侧该分支是一个全新 session(
15:09:39创建),78 秒后第一条请求就带着2499 msgs / inbound=5.5MiB / ~288 万 token进来。一个刚创建的会话不可能自己长到 288 万 token —— 历史是从源会话继承来的。bili 没有任何机会在「会话初始化」阶段介入,首次请求即超窗。
根因:fork 只复制原始消息,不迁移 bili 的折叠状态
对比同一时段 bili 库里的两组会话(时间为 UTC+8):
| 会话 | 类型 | active blocks | 实际发送 token |
|---|---|---|---|
pfa-be9f0fef60c165cf |
源会话 | 12 | 723,921 |
pfa-4d76c1edd83b5c2c |
分支 | 0 | 930,754 |
pfa-f8bb4d8b5b58272f |
分支 | 0 | 931,495 |
pfa-222de12f7686f1e0 |
分支 | 0 | 934,484 |
pfa-5a87997f34fb33e3 |
分支 | 0 | 937,435 |
pfa-65cc5236867979dd |
分支 | 0 | 940,176 |
pfa-80424a246e1e2ef4 |
分支 | 0 | 941,715 |
pfa-472555524dc9a942 |
分支 | 0 | 942,456 |
源会话历史同样有 288 万 token,但它有 12 个 active block,实际发送的是折叠后的 72 万,一切正常。
fork 出来的每一个新分支都是 0 个 block,bili 看到一个带全部原始历史的陌生会话,首请求就把 288 万 token 推上去。
结论:dsh 的 fork 复制的是原始消息流,bili 的 block / 折叠位置 / anchor 状态不跟随 fork 迁移。用户在源会话里一切正常,一旦拉分支,新会话就直接撞窗口。
bili 其实已经"知道"这是分支,但没利用这个信息
源会话与分支会话的 metadata_json 对比:
// 源会话 pfa-be9f0fef60c165cf
"anonymousPrefixAffinity": { "depth": 865, "via": "prefix", "tailHash": "fb61…" }
"systemFp": { "fp": "a12e3da00be51a6c", "size": 6691 }
"foldPositions": { "ids": ["h_4662a5686ac789de", …] } // 12 个块
// 分支 pfa-b60a21f669dbe3ad
"anonymousPrefixAffinity": { "depth": 2500, "via": "prefix", "tailHash": "2c1d…" }
"systemFp": { "fp": "a12e3da00be51a6c", "size": 6691 } // 与源会话完全相同
"generationBoundary": { "at": …, "frontier": "m03576", "maxStaleRef": "m08432" }
// 分支 pfa-472555524dc9a942
"anonymousPrefixAffinity": { "depth": 2102, "via": "prefix", "tailHash": "9e88…" }三点:
anonymousPrefixAffinity记录via: "prefix"、depth: 2500—— bili 已经识别出这个请求的前 2500 条消息与另一条已知前缀一致。systemFp.fp = a12e3da00be51a6c源会话与分支完全相同,system prompt 一致。generationBoundary.maxStaleRef = "m08432"—— 分支只有 3580 条消息,却引用到m08432,这正是「历史从别处继承而来」的痕迹,bili 也记下来了。
也就是说:识别分支所需的信息已经在库里了,bili 只是没把它用于折叠状态迁移。
建议:当 systemFp 相同且 anonymousPrefixAffinity.depth 超过某个阈值(例如 ≥ 已有 foldPosition 的最大 seq)时,把源会话的 foldPositions / foldAnchors / blocks 直接复用到新分支,或至少据此发起一次预压缩,而不是把历史当作全新内容重新处理。
日志时间线(~/.local/state/billion-context/bili.log,会话 pfa-b60a21f669dbe3ad)
15:10:57 [info] preflight compressed 2 range(s), ~143107 tokens saved (2881622 → 1016037) in 76800ms
15:10:57 [warn] preflight aborted (the client disconnected during preflight compression); not forwarding
15:10:57 [info] request: 2499 msgs, inbound=5.5MiB, local=78166ms
15:10:57 [warn] slow-session: 2499 msgs / inbound=5.5MiB (~1441974 est tok) took local=78166ms —
past the 1000ms wall-clock budget (#5744)
15:11:10 [info] nudge idle: usage=117% (1016037/868928), growth=-1830899/22500,
pendingT1=1002747/50000
reason="EMERGENCY: usage 117% but the meter reading is estimate-grade
(no billing sample landed this cycle, max pending 1002747)"
15:11:11 [info] preflight trigger fired on estimate only (~1005174 text + ~10710 image vs window 868928);
baseline 1005327 (estimate) carries no current-route upstream evidence —
forwarding once to acquire usage/overflow evidence before compressing (#2313)
15:11:11 [info] forward POST → https://<private-host>/provider/v1/chat/completions
15:11:11 [warn] 413: egress window fuse measured-body profile: 3319 message(s), 3579762B core
over 3154 distinct text(s), 3542640B unique, duplicateRatio=0.010 (#4079)
15:11:11 [warn] 413: egress window fuse: outbound body measures ~1,021,028 tokens
(messages ~996,505 · tools[] ~24,515 · system ~0 · other ~8; CJK-aware count, #554)
vs the effective model window 1,000,000 ...
the body ITSELF exceeds the window, so the send was stopped at the egress fuse
instead of being forwarded (#5000/#4543/#4068)
会话规模:3319 条消息,core 约 3.58 MB,3154 条不同文本,duplicateRatio 仅 0.010(不是重复导致的膨胀)。
三个互相矛盾的判断
1. preflight 与 egress fuse 用不同估算,结论相反
同一个请求、同一时刻:
- preflight:
~1005174 text + ~10710 image,据此决定放行一次(forwarding once to acquire evidence) - egress fuse:
~1,021,028 tokensvs window1,000,000,据此拒绝发送
两个数字只差 0.6%,却得出相反结论。前者认为「必须先发一次拿真实 usage」,后者认为「绝对不能发」。结果是 bili 先决定发、紧接着又自己拦下,用户拿到 413。
如果 preflight 已经知道估算值超窗 17%(1016037 / 868928),那「发一次拿证据」这个策略在本场景下注定失败;如果 fuse 认为不能发,preflight 就不该触发发送。
2. 预压缩耗时 76.8 秒,客户端必然先断
preflight compressed ... in 76800ms 之后立即是 preflight aborted (the client disconnected during preflight compression)。
dsh 的 HTTP 客户端等不到 76 秒,于是第一次请求在压缩完成的一瞬间被丢弃。用户重试后进入第 1 条的矛盾。压缩本身是有意义的(288 万 → 101.6 万),但耗时超过客户端耐心,等于白做。
3. 同一时段 dsh 原生 compaction 被拒,形成死锁
15:02:08 [warn] [pfa-80424a246e1e2ef4] dsh native compaction call identified
(final user message = COMPACTION_INSTRUCTION, 2099 msgs, shape drifted from the
≤4-msg rc.1 envelope — rc.2 replays the full shadowed region (#2193))
— REFUSED, not forwarded: bili owns compression on this lane;
a landed dsh checkpoint would durably shadow the raw history (#1729, cf. #1206/#1772)
15:07:43 [warn] [pfa-472555524dc9a942] 同上(2103 msgs)
15:11:10 [warn] [pfa-38a9a895738af904] 同上(2105 msgs)
链路变成:
- dsh 检测到上下文吃紧,发起自己的 compaction → bili 拒绝(bili owners compression)
- bili 的压缩依赖模型调用
compress工具 → 但模型请求本身超窗 - 请求超窗 → egress fuse 413 → 模型永远看不到 nudge → 永远不会调
compress - 回到 1,循环
bili 拒绝 dsh compaction 的理由是「bili owns compression on this lane」,但 bili 自己的压缩路径在这个场景下走不通。两条压缩路径互相否决,没有第三条兜底。
期望行为
- fork/分支应迁移或重建折叠状态:bili 已经记录了
anonymousPrefixAffinity(via: "prefix"、depth: 2500)和一致的systemFp,判定「这是某已有会话的历史前缀」所需的信息是齐的;缺的只是把这份信号接到 block / anchor 迁移上。新分支不应被当成 0 block 的全新会话从零开始。退一步,至少在首请求 inbound 远超窗口时先做一次完整压缩再发。 - fuse 与 preflight 共用同一份计量:preflight 决定发送时,应把「发送即会被 fuse 拒绝」这个事实纳入判断,而不是先决定发再被自己拦下。
- 超窗时做客户端裁剪,而不是直接 413:既然已经知道
messages996K token 超窗,裁剪最老的消息 / 截断超大 tool result 后重发,比把错误抛给用户更符合「bili owns compression」的定位。对「分支会话首请求即超窗」这种 bili 无法提前介入的场景尤其重要 —— 此时只有裁剪能救。 - preflight 耗时要有进度或让客户端等待:76 秒无响应必然被客户端放弃;要么压缩分段、要么在长时间操作前先给客户端一个 keepalive。
- 413 文案反映真实原因:本例是 token 超窗(1,021,028 > 1,000,000),不是 50 MB 体积、也不是图片累积。文案里「about 50 MB」「image attachments」误导了排查方向。
复现方式
主路径(本次实际发生):
- 准备一个已积累到 200 万+ token 的 dsh 会话
- 在该会话上执行「拉分支」(fork),新分支继承完整历史
- 在新分支会话里发任意一条消息
- 首次请求即
preflight压缩(耗时数十秒)→ 客户端断开 → 重试被 egress fuse 以 413 拦下
等价路径(直接构造):
- 构造一个 2.5M+ token 的 dsh 会话历史(约 2500–3300 条消息,含大量工具输出)
- 通过
/bili/前缀代理指向 openai 协议上游,模型 window 设为 1,000,000 - 发送任意一条新消息,观察同样的 preflight → fuse 413 过程
补充
- 该会话 id
pfa-b60a21f669dbe3ad,bili 库中created_at=2026-11-19T07:09:39Z、status=active、requests=2、lastInput=1,005,327,之后所有请求均失败 - 同一时段另有 7 个新建会话
ctx在 930K–1.15M 之间、requests=0,均为同样的超窗失败(推测是用户反复拉分支重试) - 该分支会话在 bili 库里没有
parentSessionId/forkedFrom这类显式字段,分支关系只能从anonymousPrefixAffinity(via: "prefix"、depth: 2500)与generationBoundary.maxStaleRef推断;而 bili 已经记录了这两个信号,缺的是消费它们 - 若需要,可提供 bili.log 原始片段(已对上游 host 打码)
bili version *
0.1.216
Usage mode *
Proxy mode (client manually points its base URL at bili)
Client and version *
dsh 0.2.2-rc.3,profile web,clientHint deepseek-harness/0.2.2-rc.3
Operating system *
Linux x86_64,Ubuntu 26.04.1
Upstream and model *
commandcode deepseek-v4.1-flash 1M
Compression-related config (optional)
Log excerpt (strongly recommended)
/acp or acp_status output (optional)
Activity
[-]egress window fuse 与 preflight 压缩互相拆台:超窗会话被自产 413 卡死[/-][+]Egress window fuse and preflight compression undermine each other: out-of-window sessions deadlock on self-generated 413 | egress window fuse 与 preflight 压缩互相拆台:超窗会话被自产 413 卡死[/+]ranxianglei commentedon Nov 19, 2026
[bot] 🏷 (ai: vllm-qwen/qwen3.8-27b)
标签: bug · dsh · p1 · scope/wiring · needs-decision(fork 分支会话完全卡死 = 可用性缺陷;修复面在宿主 fork-adoption 层)。
查重: 不重复,但同家族——与在途 PR #7092 同属「forked DSH 会话首请求撞 egress fuse」家族,但机制不同:#7092 修的是
dsh_session_log等非 prompt 字段被计入窗口预算(other 桶主导,~1.6M of ~1.84M),本例 413 分解是messages ~996,505 · other ~8——主导在 messages(真 prompt 超窗),other 可忽略,#7092 的 prompt-mass 计量修不了本例。本例根因是 fork 折叠状态未迁移,与 #629 的 fork-adoption 机制直接相关(见下)。版本先行(关键): 你观察到的「矛盾 #1」(preflight 决定放行一次 → egress fuse 又拦下 413)已在 master 修复——commit
7394cf44959(2026-11-17,「fix(preflight): fold probes blocked by the local egress fuse」,cherry-pick 自85fd89081),在你运行的 0.1.216(2026-11-16 发布)之后一天才落地,所以你的版本没有这个 guard。master 上probeBlockedByEgress会在 measured body 超窗时改为折叠而不是放行,从根上消除「先说发、再说不能发」的自产 413。该修复尚未发布(v0.1.216 是最新 tag,guard 不在任何已发布版本里)。根因定位(你的核心判断是对的,且机制已存在): 你说「fork 只复制原始消息、不迁移折叠状态」——准确。但 bili 已有这个机制:#629 的
maybeAdoptForkBlocks(src/fork-adoption.ts,fork block-adoption)。它没在本例触发,原因有二:forkAdoption默认 false(src/config.ts:1829,需forkAdoption: true或BILI_FORK_ADOPTION=1);anonAffinity.via === "new"且lineage.reason === "forked"(显式 fork 血缘,src/server/handle.ts:2002),而你的分支被识别为via: "prefix"(前缀匹配,depth 2500,无显式 fork 血缘)——dsh「拉分支」只复制了原始消息流,没向 bili 声明 fork 血缘,所以 Design: tree-shaped prefix affinity — forked branches inherit the shared prefix's compression state #629 触发条件不满足,机制根本没跑。也就是说:信号在库里(anonymousPrefixAffinity via:prefix + 相同 systemFp),但 #629 只认显式血缘、不认前缀匹配——这正是你建议的「用 anonymousPrefixAffinity + systemFp 迁移折叠状态」要补的缺口。
413 文案(不是 bili 的锅): 你看到的「the cap is undocumented, measured at about 50 MB … image attachments」是 dsh 的 413 错误模板,不在 bili 代码里(全仓 grep 无此串)。bili 自己的 egress fuse 文案是准确的(「outbound body measures ~1,021,028 tokens … the body ITSELF exceeds the window」)。这条是 dsh 侧问题,不在本仓修。
其余两面(真问题,但属设计取舍): ① preflight 压缩 76.8s → 客户端断开(guard 只改「放行 vs 折叠」判决,不改压缩耗时);② dsh 原生 compaction 被 bili 拒(「bili owns compression」)而 bili 自身压缩路径在超窗时走不通 → 两条路径互相否决 = 死锁。
🔶 需要决策
背景一句话: fork 出的分支会话因折叠状态未迁移而首请求即超窗,#629 机制存在但触发条件不覆盖 dsh 的「前缀匹配型」fork,需 owner 拍板怎么补这个缺口。
待决问题: 如何安全地让「前缀匹配型」fork(无显式血缘)也能迁移父会话的折叠状态?
选项(各带代价):
via: "prefix"+ 相同systemFp+depth超阈值时也触发折叠状态迁移(你的建议)。代价:前缀匹配可能误判(非 fork 的相似历史被误迁移、adopt 错父 block → 会话损坏);需设计足够强的判定(systemFp 相同 + depth ≥ 父会话最大 foldPosition seq + tailHash 链式验证)并加 false-positive 防护(只迁移 fully-present block、保留 reconcile 兜底)。bili 侧改动,中等规模。forkAdoption默认 false→true。代价:默认值变更(产品决策,§7.4 必须人拍板);且修不了本例(触发条件仍要求显式血缘),只帮助「有显式血缘」的 fork;对无血缘的 dsh fork 无效。我的推荐: A 为主 + C 为辅。A 直接命中本例根因(dsh fork 是前缀匹配型),C 让有显式血缘的 fork 默认受益;B 作为 dsh 侧并行建议(不在本仓实施)。A 的误判风险用「systemFp 相同 + depth 阈值 + 只迁移 fully-present block + reconcile 兜底」组合压制,与 #629 现有「copy-on-fork + reconcile 修 coverage drift」纪律一致。
不决定的默认行为: 维持现状——dsh 前缀匹配型 fork 继续 0 block 起步,超窗时靠 guard 折叠(可能不够/太慢),用户继续撞 413。
八问(决策请求,第 3/5 问按选项分列):
via:"new"+lineage.reason:"forked"),而 dsh fork 是前缀匹配型(via:"prefix",无血缘),触发不满足。via:"prefix"+systemFp与某已知父会话相同 +depth≥ 该父会话最大 foldPosition seq(或保守阈值)时视同 fork,走maybeAdoptForkBlocks迁移父会话的 fully-present block,保留 reconcile 兜底;加 false-positive 防护(只迁移 fully-present block、tailHash 链式验证、acp_status 暴露 adopt 来源)。C——forkAdoption默认 false→true(单独披露,因它是默认值变更)。forkAdoption默认值(false→true)。选项对比表:
判定: 本例的自产 413 自相矛盾(preflight/fuse)已在 master 修复(未发布);根因(fork 折叠状态迁移)是 #629 触发面缺口,属设计取舍,请 owner 在 A/B/C 中拍板(我推荐 A+C)。@ranxianglei 请拍板。76.8s 压缩超时与 dsh compaction 死锁是同症状的另两面,建议并入本 issue 清单,待根因方向定了再一并设计。