Skip to content

[Bug][dsh][ingest] The 32 MiB ingest cost is measured against the pre-folding inbound body: a normal session folded down | [Bug][dsh][ingest] 32 MiB 摄入成本带量的是折叠前入站体:折叠到 446 KiB 的正常会话被永久 413 #6908

Open

Description

@Haocen2004

(ai: deepseek/deepseek-v4.1-flash)

一句话

network.ingestBodyBytes(默认 32 MiB)量的是折叠之前的入站请求体,而 dsh 插件车道每轮把整份历史原样重发。折叠把出站压到 446 KiB 完全有效,入站仍是 32 MiB;入站体一旦涨过闸值,此后每一轮都在 JSON.parse 之前被本地 413,与模型窗口、与折叠效果都无关。

并且它是自锁的:dsh 唯一能让 bili 替它压缩、从而缩小宿主历史的动作,本身也是一次「整份历史 + 一句 COMPACTION_INSTRUCTION」的全量入站体;闸在 parse 之前抛,请求永远到不了 isDshCompactionCall。

环境

  • bili 0.1.214(出事区间)/ 0.1.215(当前);
  • Plugin native;dsh 0.2.2-rc.2 Web GUI;
  • Windows 11 Pro Insider build 26340
  • 上游:私有网关 · deepseek-ai/DeepSeek-V4.1-Flash-1017 · 声明窗口 375,000 · wire /v1/chat/completions
  • config:保持全默认,无任何

复现

dsh 里开正常会话一路用(本例 session-a567b8c5-ea2a-*********,约 24 小时、380 → 10,755 条消息),全程不换模型、不改压缩配置、不发图片,折叠一直正常(见 outbound 列)。入站原始体涨过 33,554,432 字节的那一轮开始 413,此后每轮都 413。

线上实测

同一会话抽样,request: 行同一行内的入站 vs 出站:

时间              msgs    inbound    outbound
2026-11-15 06:00   380    1.0MiB    228.2KiB
2026-11-15 20:00  5875   18.0MiB    721.9KiB
2026-11-16 00:00  7851   23.8MiB    805.3KiB
2026-11-16 05:00 10475   30.4MiB    548.4KiB

约 23 小时单调爬升(约 +1.3 MiB/小时,有平台期、无回落),出站始终 228–805 KiB,完全没跟随。折叠是有效的、在工作;入站体不受它影响。

撞墙那一回合(同一会话,相隔 8.5 秒):

2026-11-16T05:48:05.732 [sess=session-a567b8c5-...] request: 10755 msgs, inbound=32.0MiB, outbound=446.4KiB, local=3731ms
2026-11-16T05:48:10.200 [dsh-client] host-json-parse=116ms consumers=2 inbound=31046069B (#5792)
2026-11-16T05:48:10.719 [warn] 413: request body exceeds 33554432 bytes
2026-11-16T05:48:10.433 [conn#21635] tcp closed reason=error(ECONNRESET) age=9106ms reqs=1

同一套折叠状态,前一轮证明这 32 MiB 里 98.6% 是可折掉的废料并成功转发;后一轮只多 1,680 个字符,连折叠机会都没有。此后同文案 413 又出现 6 次(06:10:19 / 06:23:31 / 06:44:26 / 06:44:36 / 07:08:12 / 12:12:39),入站只从 31,046,069 涨到 31,060,418 chars,每轮都以 tcp closed reason=error(ECONNRESET) 收场。

这条 413: request body exceeds 33554432 bytes 就是 IngestBodyTooLargeError 的日志行(dist/index.js: log2("warn", \413: request body exceeds ${err2.limit} bytes`)),33554432 即 ingestBodyBytes的默认值,响应体stage: "ingest"`。

自锁的代码依据:src/server/handle.ts 里闸是 if (decoded.body.byteLength > ingestCap && countImagesInRawBody(protocol, decoded.body) === 0) throw new IngestBodyTooLargeError(...),位置在 JSON.parse 之前;而 isDshCompactionCall(protocol, parsed) 与随后的 dsh compaction call identified ... ANSWERED LOCALLY with the bili snapshot (#3733) 分支在 parse 之后。所以在 0.1.215 的 bundle 里,闸的偏移是 5,745,861、该压缩分支是 5,792,188 —— 超带的请求在到达压缩识别之前就已经被 413 返回了。

撞墙当刻的 nudge 读数:2026-11-16T05:48:03.966 [sess=session-a567b8c5-...] nudge idle: usage=37% (140488/375000), growth=2510/22500, interval=50000。usage 只有 37%,距窗口还有 234k 余量,nudge 判「不需要压」完全合规 —— 即 413 发生时 bili 的用量表认为这个会话只用掉 37% 窗口,而字节数已贴闸且只增不减。两张表(token 用量 / 入站字节)之间没有任何联动。

为什么是量纲错,不是设计

docs/lifecycle.md L114-115 与 website/config-reference/process.yaml 的正当性论证是「32 MiB+ 的可解析文本体已是 ≥ ~8M token,超出所有真实模型窗口」。这在出站成立,在入站不成立:#5796 已确认 dsh 插件 + openai wire 没有增量车道(pluginIncrementalTurns 默认 0%,只在 anthropic wire,src/agent/dsh-native.ts:2506),宿主每轮结构性全量重发,入站体大小只等于「宿主记住多少历史」。本例两者差 70 倍(32.0 MiB vs 446.4 KiB)。

闸本身的收益是省掉那次 host-json-parse(实测 73–121 ms);代价是一个折叠完全正常的会话,在入站体越过 32 MiB 之后每一轮都在本地被拒,且不给出「可折叠量」这类可操作信息。

两个让现场更难自证的小问题(同一条线,不单开):host-json-parse ... inbound= 打 raw.length(UTF-16 code unit),闸比 decoded.body.byteLength(UTF-8 字节),本例由被拒反推字节/字符比至少 1.081,运维看到 31.06M、闸说 33.55M,差 8%+ 看不出已贴墙;且 413 行没有 sess、没有入站/出站对照。

Activity

  1. changed the title [-][Bug][dsh][ingest] 32 MiB 摄入成本带量的是折叠前入站体:折叠到 446 KiB 的正常会话被永久 413[/-] [+][Bug][dsh][ingest] The 32 MiB ingest cost is measured against the pre-folding inbound body: a normal session folded down | [Bug][dsh][ingest] 32 MiB 摄入成本带量的是折叠前入站体:折叠到 446 KiB 的正常会话被永久 413[/+] on Nov 16, 2026
  2. ranxianglei commented on Nov 16, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 检索了 open+closed 的 issue 与 PR(ingest / 413 / ingestBodyBytes / dsh compaction / 32 MiB),无同症状同机制条目。#5794 是这条闸的引入(51.2 MiB / 29,619 条 / 5.5–7.2s 每轮 / 747s FATAL 的正当性论证),不是同一缺陷——本 issue 是它的量纲被误用到 dsh 全量重发车道。

    标签:bug · dsh · scope/wiring · p2(缺陷;dsh 插件车道;协议接线层入站闸;可恢复——回退会话/调大 network.ingestBodyBytes/本修复皆可绕过,无数据丢失,不属 owner 窄 p1 两类)。

    结论

    缺陷成立,已修。PR:#6933


    1. 是什么问题
    32 MiB 入站闸量的是折叠前的入站体,但 dsh 插件车道每轮把宿主整份原始账本原样重发(openai wire 无增量车道,#3433)。折叠把出站压到 446 KiB 完全有效,入站仍是 32 MiB;入站体一旦涨过闸值,此后每轮都在 JSON.parse 之前被本地 413,与模型窗口、折叠效果都无关。且自锁:dsh 唯一能让 bili 替它压缩、缩小宿主账本的动作(compaction call,#3733)本身也是一次「整份历史 + 指令」的全量入站体(rc.2 重放整个影子区,#2193),闸在 parse 前抛,自愈永远到不了 isDshCompactionCall。

    2. 什么原因导致的
    闸的正当性论证(docs/lifecycle.md §2.3)是「32 MiB+ 可解析文本体 ≥ ~8M token,超出所有真实窗口」——这把入站字节等同于模型输入。出站/增量车道成立,dsh 全量重发车道不成立:入站体 = 宿主记住多少历史(折叠基底),不是模型输入,本例差 70 倍(32.0 MiB vs 446.4 KiB)。根因是量纲错配,不是阈值设错——把 32 MiB 调成 64 MiB 只是推迟撞墙,不是修复。

    3. 影响范围与严重程度

    • 触发:dsh 插件车道(x-bili-plugin: dsh)+ openai wire + 单会话入站体涨过 32 MiB(约 24h / ~10,000 条量级)。
    • 严重度:特定条件下会话无法推进(每轮 413),但可恢复(重启无效——账本仍大;回退/调大 network.ingestBodyBytes/本修复皆可)。无数据丢失(宿主账本完好),不属 p1 窄两类(会话不可恢复/数据丢失、缓存泄露)。判 p2。
    • 波及:所有跑长会话的 dsh 用户(openai wire);anthropic wire 的 dsh 有增量车道,入站体不随历史线性增长,不受影响。

    4. 怎么修复的
    在闸上加两条量纲动机的豁免(src/server/handle.ts):

    • (A) x-bili-plugin: dsh → 入站体是折叠基底,豁免。这是根因修复:全量重发车道的入站字节本就不该按模型输入量纲拒。
    • (B) dsh compaction marker 嗅探(48 字节子串) → 自愈调用必须能到达 isDshCompactionCall(bili-authored client compaction: let the host's own compaction flow run, but bili writes the checkpoint #3733 用折叠快照本地应答);误报(某轮恰好引用 marker 文案)的代价只是付一次 parse 成本,与今天低于悬崖时一致——完整 marker 判定仍在 parse 后跑。
      另修同线两个观测缺口:inboundBytesOf 之前对字符串报 UTF-16 码元(raw.length),host-json-parse inbound=…B 现报 UTF-8 字节,与闸的 byteLength 同量纲(8%+ 单位差之前掩盖贴墙程度);ingest 413 日志现在 cap 旁标出实际解码字节数(之前只有 cap)。

    5. 是否有回归问题

    • 非 dsh 车道超带体:行为不变,仍 413(负向测试钉死)。
    • dsh 车道 / compaction marker 体:从「parse 前 413」变为「过闸进正常管线」(折叠+转发,或 compaction guard 本地应答/拒绝)——有意变更(见第 7 问 + PR ⚠️ 段)。
    • 高危模式逐项:语义漂移——无(闸对非 dsh 判决未动;dsh 车道只是从「被闸拒」变「进管线」,管线内折叠/预检/egress fuse 全照常,预检对不可折叠超窗体仍 fail-fast 413);fail-fast 变吞错——无;阈值/时序/输出格式——无(默认值、413 响应体格式均未动,只加日志行实际字节数)。
    • 既有行为:[perf][dsh] 51.2 MiB / 29.6k-msg inbound has no cost admission - DecodedRequestAdmission only sees compressed bodies | 51.2 MiB 入站没有成本准入:admission 只覆盖压缩体 #5794 三条原测试(plain 超带 413 / 图片体不拒 / responses 车道豁免)全绿。

    6. 是否破坏缓存
    不涉及。折叠/缓存/增量游标/去重键均未触碰;只改入站闸豁免条件与两处日志/计量字段。

    7. 是否改了设计方向
    不改架构,只纠正闸的一个量纲误用。方向仍是「入站字节闸保护 parse 成本」——只是承认全量重发车道的入站字节不是模型输入量纲。新认知:dsh 车道的 parse 成本是结构性成本(低于悬崖时每轮已付),闸在 32 MiB 处只制造不连续、不省成本。

    8. 是否引入了新的配置
    不涉及。无新 env/config/默认值;network.ingestBodyBytes 语义与默认值(32 MiB)不变。


    ⚠️ 行为变更(旧 → 新):dsh 插件车道(x-bili-plugin: dsh)或携带 dsh compaction marker 的请求,解码体超过 network.ingestBodyBytes(默认 32 MiB)时——旧:parse 前 413 stage=ingest 拒绝;新:过闸进正常管线(折叠+转发,或 compaction guard 本地应答/拒绝)。代价:dsh 车道超带体现在付 host-json-parse 成本——但那是车道结构性成本,低于悬崖时每轮已付,闸之前只加不连续、不省成本。非 dsh 车道行为不变。

    判定:修复闭环,PR #6933 待 review,CI 全局把关。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions