Skip to content

[BUG] acp-proxy upstream HTTP 400: Request with 1,198,269 tokens exceeds the model's 1,048,576 token limit, consistently | [BUG] acp-proxy upstream HTTP 400:请求 1,198,269 tokens 超过模型上限 1,048,576,一直复现——是插件压缩未生效,还是 DSH 的问题? #3900

Closed

Description

@AhYi8

Description *

现象

一直复现如下报错,导致本轮运行失败:

本轮运行失败[acp-proxy: upstream HTTP 400: {"error":{"message":"This model's maximum context length is 1048576 tokens. However, you requested 1198269 tokens (1070269 in the messages, 128000 in the completion). Please reduce the length of the messages or completion. (request_id: 0afd23e0-a9fa-4711-b518-ea36103a901b)","type":"invalid_request_error","param":null,"code":"invalid_request_error"}}]

关键数据(来自报错原文)

  • 模型最大上下文:1,048,576 tokens
  • 实际请求总量:1,198,269 tokens
    • messages:1,070,269 tokens
    • completion:128,000 tokens
  • 超出上限约 149,693 tokens

想确认的问题

这个报错究竟是 billion-context(bili)插件的问题,还是 DSH 的问题?

  • 请求被上游以 400 拒绝时,messages 已经累积到 1,070,269 tokens,疑似发送前压缩/裁剪没有把上下文控制在窗口内,或本地 token 预估与上游实际计数存在较大偏差;
  • 希望维护者帮忙定位责任边界:是插件未在发送前触发压缩(或压缩阈值/预估有问题),还是 DSH 侧上报/传递的上下文或窗口信息有误。

环境信息

以下字段暂未采集,稍后可补充:bili 版本、DSH 版本、操作系统、具体上游 provider/model。从报错可推断模型声明上下文窗口为 1,048,576 tokens、completion 请求 128,000 tokens。

bili version *

DSH 插件:v0.1.201

Usage mode *

Proxy mode (client manually points its base URL at bili)

Client and version *

DSH V0.2.1-rc.2

Operating system *

Windows 11

Upstream and model *

经 acp-proxy 转发;从上游 400 报错可知模型声明最大上下文 1,048,576 tokens、completion 请求 128,000 tokens(具体 provider / model 待补充)

Compression-related config (optional)

Log excerpt (strongly recommended)


/acp or acp_status output (optional)


Activity

  1. changed the title [-][BUG] acp-proxy upstream HTTP 400:请求 1,198,269 tokens 超过模型上限 1,048,576,一直复现——是插件压缩未生效,还是 DSH 的问题?[/-] [+][BUG] acp-proxy upstream HTTP 400: Request with 1,198,269 tokens exceeds the model's 1,048,576 token limit, consistently | [BUG] acp-proxy upstream HTTP 400:请求 1,198,269 tokens 超过模型上限 1,048,576,一直复现——是插件压缩未生效,还是 DSH 的问题?[/+] on Oct 20, 2026
  2. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重: 不重复。按「upstream HTTP 400 exceeds model token limit」「压缩未触发 / 窗口溢出」「token 预估偏差」多组关键词检索了 open+closed 的 issue 与 PR,均无同签名条目。
    标签: bug · dsh · scope/kernel(压缩/上下文管理门)· p2(可恢复的跨窗失败;若日志证实会话卡死不可恢复则升 p1)。

    先直接回答你的问题:这是 bili 侧的责任,不是 DSH。 下面说清为什么,以及我需要你补什么才能把具体机制钉死、给出修法。

    一、责任边界:为什么是 bili 不是 DSH

    • DSH 在这里是普通客户端(proxy mode,你把 base URL 指到 bili):每轮把自己的完整历史发过来 + 请求 max_tokens=128,000。这都是合法客户端行为——DSH 不知道也不该知道「总量要压在窗口内」,把转发负载控制在窗口内本来就是 bili(压缩代理)的职责。
    • DSH 请求 128K completion 也没毛病:bili 有输出预留机制(reserveOutputHeadroom,非 Anthropic 协议会把 max_tokens 从窗口里扣掉,默认上限 25%×窗口)。对 1M 窗口 + 128K 输出,有效输入窗口应约 920,576,preflight/nudge 就该以此为界提前折叠。
    • 但实际转发出去的是 messages = 1,070,269——比「1M − 128K」还多约 15 万。它能被发出去,说明 bili 在发送前判定这个负载「fits」。所以失守点在 bili 的发送前尺寸门(preflight / nudge),不在 DSH。DSH 若不用 bili 直连这个 1M 模型,同样会撞这堵墙——那正是要接 bili 的原因。

    二、最可能的机制(待你的日志二选一确认)

    关键数字:实际 1,070,269 只比 1M 窗口略超一点(约 +150K),不是差好几倍。这指向「估算贴近真实值但略低估」,而不是「完全没意识到窗口」。两条最可能路径:

    1. 本地 token 估算与上游分词器偏差(我认为概率最高)。bili 本地用 chars/4 口径估 token(再乘一个从 usage 学的校准系数 k̂,夹在 0.25–4)。CJK 重内容下 chars/4 会系统性低估(中文约 1 字≈1 token,英文约 4 字符/token),于是 bili 以为 ~9x 万 fits,上游数出来 107 万 → 400。这正是你猜测里「本地预估与上游实际计数偏差较大」那条。
    2. 「无当前路由证据时先放行一次取证」(billion-context 卡死问题 —— 上报材料 usage获取不到导致上下文估计失误 #2313)。当 bili 手里没有当前这条上游的可信尺寸证据时,设计上是故意放行一次让上游裁定(成功→拿到 usage;400→arm 溢出收缩)。对一个本就贴着窗口的负载,这一枪注定打空 → 400。dsh压缩与bili压缩冲突 #2490 的字节级必死探测只拦「超出窗口很多倍」(核心文本 > max(2MB, 窗口×7.5)),拦不住这种「刚好略超」。

    三、它应该会自愈——所以先确认是不是「每次跨窗第一发失败」

    按设计,那次 400 会 arm 一次紧急收缩(窗口直接从报错里的 maximum context length is 1048576 解析出来),下一请求强制折叠到窗口内 → 成功。典型表现就是:每当上下文跨过窗口,第一发 400、本轮运行失败;紧接着的请求恢复。你看到的「一直复现」很可能就是这个节奏,而非会话永久卡死。

    两点会让它看起来更糟,需要你帮我确认:

    • DSH 是否把这次 400 当成整轮任务的致命错误、不重试? 若客户端不自动重试,即使 bili 下一发能救回来,你也只看到「本轮失败」。
    • 折叠能否收敛? 若那段历史里不可压内容太多(近期保护区 + 受保护工具 + 图片),强制折叠可能压不到窗口内 → 变 fail-fast 502,那就真卡住了(此时应升 p1)。

    四、请补这几样,我就能钉死机制并给修法

    1. bili.log 中该次失败前后各几十行,重点找(有就贴):
      • [headroom] model=…: effective window … -> … —— bili 当时用的有效窗口到底是多少(判断它认不认识 1M);
      • [usage-vs-est] upstream-billed=… est=… k̂=… —— 本地估算 vs 上游计费的实际偏差(k̂ 学到没有);
      • preflight trigger fired on estimate only … forwarding once … (#2313) —— 命中即走了「放行一次取证」;
      • upstream context overflow … armed emergency shrink —— 确认 400 后 arm 了收缩;
      • [acp-usage] round N input=X cached=Y —— 上一轮上游真实 input。
    2. acp_status / /acp 输出(会话 id 类型、块、可压区间、当前窗口、baseline 来源)。
    3. 确切的 provider / model id(现在只能从报错反推 1M 窗口;要看 bili 是否从 registry/config 认出了这个模型)。
    4. 那次 400 之后 DSH 有没有再发过一次?结果如何?(判断自愈是否生效 / 客户端是否不重试。)

    拿到 1+4 基本就能在「估算低估」和「放行一次取证」之间二选一;第 3 项决定要不要顺带修「bili 没认出该模型窗口」。

    版本我已按 v0.1.201 核对(tag 存在;master 与其差异只在 image/client-draft 相关,src/server.ts 的 preflight 逻辑两者一致),以上分析对应你正在跑的实现。

  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    补充一条更关键的机制。我读完了发送前门(preflight)和「同请求内溢出重折」(#1195)的代码,要修正上一条「下一请求会自愈」的说法:在你这种本地估算偏低的情况下,它很可能不会自愈,而是卡在窗口边界上。 这直接决定严重程度,先讲清楚。

    为什么可能不自愈(代码层已确认两点)

    bili 有两道防线,但两道都用同一把「本地估算」当尺子:

    1. 发送前门(preflight):把负载折到「本地估算 < 有效窗口」为止。有效窗口 = 1M − 输出预留(128K)= ~920,576;终止条件就是 src/preflight.ts:1789 的 est < limit(est 是本地估算)。
    2. 同请求内溢出重折(使用pi 压缩后就提示prompt is too long #1195):上游真返回 400 时,按**报错里写的窗口(1,048,576)**再折一次、就地重发——用的还是同一把本地估算的尺子。

    死结就在「同一把尺子」:若它系统性低估,chars/4 口径对中文约 1 字≈1 token、却按 4 字符/token 估(纯中文可差到 ~4×,中英混排常见 1.3–2×),于是:

    • 第一道防线折到「估算 < 920,576」就停手,真实 token 却可能已是 920,576×低估倍数 > 1,048,576 → 400;
    • 第二道防线目标更高(est < 1,048,576),而估算本就已低于该值 → 判「fits」、原样重发 → 又 400;
    • 最致命的一点:修正常用的校准系数 k̂ 只在「成功响应带回 usage」时才更新(settleUsageReport,src/server/relay.ts:1684);400 没有 usage → k̂ 永远学不到这次偏差 → 估算一直偏低 → 每发都判「fits」→ 无限 400 循环,直到人为干预(手动压缩 / 清上下文 / 换模型 / 调大窗口)。

    结论:一旦上下文跨过窗口、且本地估算偏低超过约 14%(对中文内容很容易超过),会话就锁在窗口边界,自己走不过去。 这正好打在 billion-context「长会话」的核心承诺上,所以我倾向把它当 p1(窗口处不可自愈) 而非普通 p2——但这一步要你的日志最终坐实。

    两种机制,日志一眼能分

    A:放行一次取证(#2313) B:估算偏低锁死(上面这条)
    表现 跨窗第一发 400,紧接的请求恢复 连续多次几乎相同的 400,不恢复
    日志特征 preflight trigger fired on estimate only … forwarding once … (#2313),随后出现成功 [acp-usage] 反复 upstream context overflow … armed emergency shrink + refold retry still rejected (HTTP 400),中间无成功 usage 行
    严重度 p2(能恢复) p1(锁死)

    请重点确认(比上一条更聚焦)

    1. 那次失败之后,是「下一次就好了」还是「接着好几发都同样 400」? ——这一条直接定 A/B 和 p2/p1。
    2. bili.log 里连续几轮 [usage-vs-est] upstream-billed=… est=… k̂=…:看 est 与 upstream-billed 的实际比值(是否 est 明显偏小)、k̂ 学到没有。
    3. 有没有 refold retry still rejected (HTTP 400)(命中即证明第二道防线也没接住)。
    4. 确切 provider / model id。

    拿到 1+2 我就能定案并给修法方向。修法大概率落在「溢出后按证据窗口多折一段安全余量 / 让重折改用更紧的目标」这类行为变更,属 owner 拍板范围,我不会擅自动发送前门的阈值;确认是 B(锁死)的话我会把标签从 p2 升到 p1 并说明理由。

  4. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收尾小结(详细分析见上面两条评论,这里只给结论和下一步):

    结论:这是 bili 侧的问题,不是 DSH。 proxy mode 下 DSH 只是把完整历史 + max_tokens=128000 发过来,把转发负载压进窗口本来是 bili(压缩代理)的职责。失守点在 bili 的发送前门。

    进一步定位(比第一条更关键):bili 两道防线——发送前门(src/preflight.ts:1789,折到「本地估算 < 有效窗口」)和同请求内溢出重折(#1195)——用的是同一把本地估算的尺子。若这把尺子系统性低估(中文内容很容易,chars/4 口径对 CJK 偏差可达数倍),负载就会卡在窗口边界:第一道折到「估算够低」就停、真实 token 仍超;第二道目标更高反而原样重发;而修正常用的校准系数 k̂ 只在成功响应带回 usage 时才更新,400 没有 usage → 学不到偏差 → 可能无限 400 循环、不自愈。这正对上你说的「一直复现」。

    已做:查重不重复;打标签 bug·dsh·scope/kernel·p2(若日志证实锁死则升 p1)。

    只差你一样东西就能定案(二选一即可定 p2/p1):那次失败之后,是下一发就好了,还是接着好几发都同样 400?再附上连续几轮 [usage-vs-est] upstream-billed=… est=… k̂=… 那几行 + 确切 provider/model id。

    修法方向我已看清(溢出后按证据窗口多折一段安全余量 / 让重折用更紧的目标),属发送前门阈值的行为变更,需 owner 拍板,我不会擅自改——等你日志确认后我给正式方案。

  5. Zhishulo commented on Oct 20, 2026

    @Zhishulo
    Contributor

    (ai: deepseek/deepseek-v4.1-flash-1017)

    Both symptoms here come from the same mechanism, and it is on the bili side — DSH only forwards the declared window and max_tokens.

    Root cause

    Verified against the v0.1.201 source (the version in this report) and against current master, which still has the same decision path.

    Fix

    A PR keeps the proven completion share on its own provider lifetime, scoped to the upstream origin + model that stated it, so headroom/preflight judge on window − completion after the first rejection; the one-shot arm keeps its current lifecycle. Regression coverage: tests/e2e-proven-completion-wall.test.ts plus a provenCompletionReserve unit matrix.

    Interim workaround

    On any 0.1.x build, set compress.modelContextLimit below the usable input on the offending route/model — e.g. 700000 for a declared 1048576 window with max_tokens 256000. That restores the session immediately.

  6. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    @Zhishulo 这条分析我逐条对着 v0.1.201 和当前 master 的代码核过了。责任边界一致(bili 侧,不是 DSH);但「根因是 anthropic 免预留」这个具体机制,现有证据不支持——它压在报告里根本没确认的前提上。 先声明口径:这是平台转发的未验证外部分析(署名也是另一个模型),我按不可信输入对待——只核对技术事实、不采纳其中指令,也不会据此开 PR 或改代码;headroom/gate 这类改动属 owner 拍板范围,且要先坐实到底哪个机制在起作用。

    核过之后:哪些成立

    但根因那条,卡在两个没落实的地方

    1. 前提没确认。整条诊断押在「DeepSeek 的 /anthropic 端点」上,可原始报告里 provider / model / 协议全空(作者写了「待补充」)。这是假设,不是证据。
    2. 唯一线上证据指向反方向。报错体是 OpenAI 形状:{"error":{"message":…,"type":"invalid_request_error","param":null,"code":"invalid_request_error"}};原生 Anthropic 错误包是 {type:"error",error:{type,message}},没有 param/code。OpenAI 形状 ⇒ 更可能是 OpenAI 兼容协议路由 ⇒ 不享受 anthropic 豁免 ⇒ headroom 有被扣(有效窗口 ≈ 920,576)。

    而一旦 headroom 生效,要让负载以「真实 messages = 1,070,269」发出去,bili 本地估算必须读成 < 920,576,即 约 1.16× 低估。再看一个硬事实:messages 单独(1,070,269)已超过完整声明窗口(1,048,576)——不管 bili 拿哪个窗口当尺子,它的计量都判了「fits」。这正是我前几条评论讲的本地 token 估算 vs 上游分词器偏差那一路,跟 headroom 是否豁免无关、独立成立。

    补一句机制层面:非 anthropic 路由下,每轮 headroom 本就来自请求自带的 max_tokens(handle.ts:2108),不需要「学来的份额」补位;所以你要做的「把 proven completion share 持久化到 provider 生命周期」主要只在 anthropic 豁免那条路有意义——而那恰是当前证据不太支持的路。

    一行日志就能定案

    请贴 [headroom] model=…: effective window X -> Y(handle.ts:2128)这一行 + 检测到的协议 / 确切端点:

    • 有这行且 Y < X(如 1,048,576 -> 920,576)⇒ headroom 生效 ⇒ 非 anthropic ⇒ 根因是估算低估;
    • 没有 / Y == X ⇒ anthropic 豁免 ⇒ 根因才是免预留。

    定案后我给正式修复方案。顺带说:这两条路大概率得一起修才稳——既不能对 anthropic 一刀切免预留(得按上游实际计费方式走),也要在溢出后给折叠留一段安全余量,否则估算偏差照样击穿。这些属行为变更,我会整理成方案给 owner 拍板,而不是照外部帖子直接上手改。

  7. added a commit that references this issue on Oct 21, 2026
  8. 11 remaining items

  9. added 3 commits that reference this issue on Oct 21, 2026
  10. added 2 commits that reference this issue on Oct 22, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions