Skip to content

No per-prompt image count cap: upstream "Too many images in request: 165 > 30" is forwarded as-is | 缺少按 prompt 的图片张数上限:上游 "Too many images in request: 165 > 30" 被原样转发 #4124

Closed

Description

@Yaklo

(ai: deepseek/deepseek-flash)

现象

上游对"单个请求里的图片张数"有硬上限时,bili 原样转发、不裁剪不重试,整轮失败。真实样本(2026-10-21,DSH GUI):

400: {"message":"Upstream request failed: [invalid_request_error] Too many images in request: 165 > 30","type":"invalid_request_error","param":"","code":null}

  • 送出 165 张,上游上限 30;
  • 图片只按 token/字节计量,不参与"该不该压缩"的判断,所以文本侧水位可能远低于阈值、折叠不会触发,历史图逐轮累积,撞上限后每轮复现同一个 400;
  • 配置面没有张数开关(imageBilling/imageTokenCap/imageRescale 都是成本/尺寸维度)。

根因

  • 图片在 bili 里是成本对象(token/字节),没有"数量"这个维度;唯一的按张数动作 MAX_SHED_IMAGES = 64 藏在字节触发的 WS 应急 shedding 里(shedWireImages,仅 isWsLaneTransport() + network.wsOutboundBytes 超预算时触发),与上游张数上限无关。
  • 拒收学习不认识图片张数词表:CONTEXT_OVERFLOW_PATTERNS 的 17 条全是 token/context 形状,Too many images in request 不在其中 → 该 400 判为 isOverflow: false → armOverflowShrink 永不 armed;parseOverflowWindow 只认 > N maximum,165 > 30 也不匹配。即这条拒收连"容量类"都没被识别。

提案

A. 配置面:imageCountCap + 逐路由 images.maxPerPrompt + BILI_IMAGE_COUNT_CAP。超限保留最新 N 张,被丢的走既有 refForItemBytes 归档、原位置留稳定占位,decompress({ imageRef }) 可恢复;未超限请求字节不变。

B. 学习面(改动更小,可先做):给拒收词表加两条,学到逐路由上限后按 N−1 重试一次,复用既有 armOverflowShrink 缝(与 token 溢出的学习分开存、分开记日志):

/Too many images in request:\s*(\d+)\s*>\s*(\d+)/i // 上限 = $2($1 为本请求张数,可交叉校验)
/At most\s+(\d+)\s+image(s)\s+may be provided/i // 上限 = $1

配置优先、学习兜底。另建议把拒收原文记一条 warn(现在用户看不到"上限是多少")。

不变量:不动文本侧计量与压缩触发;占位文本稳定,不破前缀缓存/归因;丢掉的像素必须 decompress({ imageRef }) 可取回(#2640,不允许静默丢图);只超限才动手;工具结果里的图与 tool_use 不拆散。

查重

环境

billion-context 0.1.202(commit 6deb4547),DSH lane dsh,上游自建 OpenAI-compatible 端点(该路由上限 30)。Upstream request failed: 这层包装来自上游网关(非 bili/DSH),本机 bili.log 无该 400 行。

Suggested triage: enhancement, p2, scope/wiring

Activity

  1. ranxianglei commented on Oct 21, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 检索了 open+closed 的 issue 与 PR("too many images"、limit-mm-per-prompt、maxPerPrompt/imageCountCap、"image count"、中文「图片 上限」、shedWireImages):没有任何其他条目在做或要求「按请求张数上限」。同家族但不同墙的邻居:

    标签: dsh、scope/wiring、p2(理由:DSH 车道真实样本;属请求管道/拒收学习面;触发条件窄——仅当上游有张数硬上限且历史图超限,且有绕行(新会话/清旧图/调大上游上限),不属数据丢失或缓存泄露类,故 p2 非 p1)。

    审核结论(三步全过,逐条对照 v0.1.202 源码验证,与报告版本一致):

    1. 拒收词表缺口 —— 成立。 CONTEXT_OVERFLOW_PATTERNS(src/util.ts:258-314)共 17 条全是 token/context 形状;Too many images in request: 165 > 30 一条都不匹配 → inspectContextOverflow 判 isOverflow:false(src/util.ts:406)→ 两个调用点(同请求 refold src/server/relay.ts:1157、!ok 直通 src/server/relay.ts:1286)都跳过 arm/refold → 400 原样直通、每轮复现。与报告所述完全一致。
    2. 一个 issue 没点透的结构性约束(反而强化了它的设计):就算加了词表模式,这个数字也不能走 token 窗口通道——parseOverflowWindow 只认 "maximum"/「上限」类限制词,且 toTokenNumber 显式拒绝 <1000 的数(src/util.ts:316-321);更关键的是 arm 路径把学到的值写进 lastInputTokens/overflowArmTokens(src/server/relay.ts:1059-1073),驱动的是 token 空间的紧急收缩——若把 30 塞进去等于在 30 token 处武装收缩,全会话瞬间被折光。所以学到的图片上限必须独立字段存放、独立记日志:issue 说的「与 token 溢出的学习分开存、分开记日志」是结构上必须的,不是偏好。
    3. 唯一的按张数动作确实藏在 WS 车道字节 shedding 里 —— 成立(有一处措辞修正):MAX_SHED_IMAGES=64(src/egress-shed.ts:36)实际是 jimp 单请求工作上限;shed 门(src/egress-shed.ts:330)只在 isWsLaneTransport() 且字节超 network.wsOutboundBytes 预算时触发。HTTP 车道(报告者场景)没有任何按张数的出站保护。
    4. 配置面无张数维度 —— 成立:imageBilling(成本模式)、imageTokenCap(单图 token 上限,route/global/env 三级)、imageRescale(降采样)全是成本/尺寸维度。
    5. 一处措辞更正:「图片不参与该不该压缩的判断」不准确——图片 token 参与 token 计量(src/server/handle.ts:1381 把 imageTokensInParsedBody 计入 rawInputTokens)。准确表述:fold/arm/shed 决策空间里没有任何张数维度;上游墙是张数墙时,token 水位可以远低于折叠阈值而张数已超上限(165 张小截图轻松低于大声明窗口)。另外 plugin 模式(dsh 车道)压缩是模型驱动的(proxy 抑制 nudge 注入),模型不调 compress 时图片累积且 proxy 侧无兜底触发。

    层次判断:用户看到的是「会话 400 死循环」,根因是 bili 缺「张数」这个一等维度(计量有、判断无、学习无、出站保护无),400 原样转发只是最后一环症状。issue 的 A/B 两条路都打到根因,方向认可。

    我的建议:B 现在做,A 等你拍板形状。 B 完全落在既有机制内,不需要任何新配置面:拒收词表加两条图片张数模式(解析出上限 N 进独立字段)→ 识别后复用 egress-shed 现成的「最老图片归档为稳定占位符、像素留会话存储、decompress({imageRef}) 可恢复」机器(已覆盖 openai/anthropic/responses/google 四种 wire,src/egress-shed.ts:135/199/257)把出站收敛到 N−1 → 走 #1195 的同请求 refold 缝重发一次,客户端直接看到成功响应而不是 400(400 在 bili 内部消化);同时给拒收原文补一条 warn(现在 bili.log 对该 400 零记录,用户看不到上限是多少)。N−1 而非 N 重试是对的——计数口径可能有差(工具结果图 vs 内容图),留一格余量避免再撞。A 会新增配置字段,属 owner-gated 配置面;形状我建议直接对齐 imageTokenCap 先例(扁平 imageCountCap,route/global/env 三级,默认 0=关),而不是 issue 提的嵌套 images.maxPerPrompt——扁平命名贴合现有 NAMED_PROVIDER_ROUTING_FIELDS 机制(src/config.ts:909)与解析器先例,嵌套是新形状。

    八问:

    1. 是什么问题:上游对单请求图片张数有硬上限(vLLM --limit-mm-per-prompt 之类)时,历史图堆过上限后 bili 原样转发不裁剪不重试,整个会话陷入同一 400 的死循环,只能人工干预(新会话/删旧图/调大上游上限)。
    2. 什么原因导致的:bili 把图片当成本对象(token/字节),没有「张数」维度;拒收学习词表不认识图片张数 400,紧急收缩与同请求重试都不触发;唯一按张数的动作绑死在 WS 车道字节预算上,HTTP 车道不生效。结构约束:token 窗口通道拒绝 <1000 的数,图片上限必须独立字段承载。
    3. 影响范围与严重程度:任意车道 × 带张数硬上限的上游 × 历史图超限 → 该会话完全不可用(每轮同一 400,无自愈)。触发面窄(自建 vLLM/小上限 relay 常见,主流开放 API 无此低上限);一旦触发为会话级不可用,但状态完好、无数据丢失、有绕行 → p2。
    4. 怎么修复的(推荐选项 B):反应式学习 + 同请求重试——词表加两条张数模式(上限 N 进独立字段、与 token 学习分记);识别后把最老图片归档为稳定占位符(像素留存、可恢复),出站收敛到 N−1,同一请求内重发一次,客户端看到成功;另加拒收原文 warn。选项 A(配置主动封顶)待你批准形状后并入同一 PR。
    5. 回归风险(按选项):B——只在 count>cap 时动手,未超限请求字节不变;两个新模式措辞具体,误报面极小(第一条即 vLLM 原文格式,第二条为其他网关兜底 best-effort);把已识别的容量类 400 转成重试对客户端是严格改善;shedding 确定性(最老优先+固定占位),相同输入产生相同出站字节。高危模式逐项过:文本侧计量与压缩触发不动(无语义漂移)、其余 4xx/5xx 路径不动(无 fail-fast 变吞错)、阈值/时序/输出格式不变。A——默认关(0=不限)存量用户零差异;开启后出站占位替换像素(与 B 同类,可恢复)。
    6. 是否破坏缓存:否——确定性 shedding 保前缀缓存稳定(同一历史产生同一出站字节);重试/去重/游标策略不动。
    7. 是否改了设计方向:否——沿「张数」维度补全既有机制(拒收词表 + egress-shed + 使用pi 压缩后就提示prompt is too long #1195 refold),架构/边界/数据流不转向。
    8. 是否引入新配置:B 不引入;A(若你批准)引入 imageCountCap(默认 0=关)+ 逐路由同名字段 + env BILI_IMAGE_COUNT_CAP,镜像 imageTokenCap 的三级解析,CONFIGURATION.md en+zh 同步。

    选项对比:

    B 单独(推荐,立即可做) B+A 一次到位 只做分析
    内容 词表 + 独立字段学习 + 同请求 N−1 重试 + warn 日志 B + 配置主动封顶(扁平 imageCountCap) 仅本回复
    修好报告的故障 ✅(客户端全程无感,400 在 bili 内消化) ✅(配置后可做到零 400) ❌
    新配置面 无 有(owner-gated,需你批形状) 无
    回归面 仅已识别的图片张数 400 路径 + 主动封顶路径(默认关) 无
    代价 小(全部复用既有机器) 中 零

    请拍板两件事:① 是否同意我现在开始做 B?② A 的形状:现在批准扁平 imageCountCap(我合并前补进同一 PR),还是缓议(我另行开一条配置面提案 issue 记录映射关系)?

  2. ranxianglei commented on Oct 21, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    更正上一条回复的一处细节(复核时发现):「现在 bili.log 对该 400 零记录」的说法不准确。主转发路径已有 #174 兜底:任何非 2xx 上游响应都会记一条 warn(status + request-id + 正文前 600 字符,src/server/relay.ts:1314-1324),所以这条 400 若走了主转发路径,Too many images in request: 165 > 30 原文应当已落在 bili.log。因此真实缺口不是「无记录」,而是**「有记录但不被识别」**——词表不匹配 → 不 arm、不重试,日志行也不说明上限是多少、能做什么。两个后果:

    1. B 的日志项修正:从「补一条新 warn」改为「在既有 fix: log non-2xx upstream responses (status + request-id + body snippet) #174 通用行之上,图片张数模式命中时加一条结构化行(解析出的上限 N、归档了几张图、同请求重试成功与否)」——价值从「可见性」变为「可执行判决」。回归面结论不变。
    2. 给报告者的反向问题:如果确实找不到该轮的 400 行,请帮忙确认三点——(a) 当时哪个 bili 实例在处理该流量(多实例机器上各车道 proxy 端口不同);(b) 时间窗是否跨了日志轮转(bili.log.old);(c) 该请求是否真的经过 proxy(Upstream request failed: 包装来自你们的上游网关;若那一轮请求没走 bili,则既无 400 也无压缩)。这影响对失败签名完整性的判断,也决定 B 落地后如何验证。

    其余结论不受影响。待拍板事项不变:① 是否同意现在开始做 B?② A 的形状:扁平 imageCountCap(对齐 imageTokenCap 先例)现在批准并入同一 PR,还是缓议另开配置面提案 issue?

  3. Yaklo commented on Oct 21, 2026

    @Yaklo
    Author

    报错的非本机实例,所以 bili.log 对该 400 零记录。我晚点获取日志后进行补充

  4. ranxianglei commented on Oct 21, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收到——这就解释了本地 bili.log 为什么没有该 400 行(对应我之前问的第一点:流量走的是非本机实例)。两点说明:

    1. 机制结论不受影响:拒收词表缺口在 v0.1.202 的代码本身里,无论哪个实例处理请求都会撞上同一个 400 循环,修复位置不变。
    2. 补日志时:取那个实例的 bili.log(含轮转的 .old)里对应轮次即可,找 ← upstream 400 的 warn 行(fix: log non-2xx upstream responses (status + request-id + body snippet) #174 兜底日志),应能看到 Too many images in request: 165 > 30 原文;顺带确认该行之后没有任何 arm/refold/shed 动作行(预期没有——这正是缺口所在)。如果连这行都没有,把该轮完整日志段发出来再看。

    待拍板事项不变:① 是否同意现在开始做 B?② A 的形状:扁平 imageCountCap 现在批准并入同一 PR,还是缓议另开配置面提案 issue?

  5. Yaklo commented on Oct 24, 2026

    @Yaklo
    Author

    (ai: deepseek/deepseek-flash)

    说明:文件路径、内网地址与 provider/实例名已脱敏(%USERPROFILE%、newapi-A / newapi-B)

    先回答你上一轮的三问,再贴证据。结论先说:这个 400 已经在另一台机器上复现,bili.log.old 里有完整记录——我之前说"零记录"只查了本机,是我的口径问题。

    (a) 是哪个实例在处理

    另一台机器(Windows),bili v0.1.202;出错的会话是 session-87f6a9b0…,走的 provider 是 newapi-B/deepseek-flash。该会话的三次 400 在 bili.log.old 里各有一处记录(行 28632 / 29492 / 30195),可以指认到实例。

    (b) 时间窗是否跨轮转

    没跨。bili.log.old(10.0 MB)覆盖 2026-10-19T11:49:37Z → 2026-10-22T04:12:07Z,三次失败都落在里面(04:03:32Z / 04:24:05Z / 04:30:03Z)。

    (c) 那一轮是否真的经过 proxy

    经过了。所以真实的缺口不是"没记录",而是有记录但不被识别(见第 3 节)。

    1. 不是偶发:全库扫描到 8 条,分布在 3 个会话

    会话 turn step 本地时间 (+08) 上游文本
    04be7371-… 39 22 2026-10-01 18:18:59 Too many images in request: 31 > 30
    04be7371-… 40 1 2026-10-01 18:19:59 同上
    04be7371-… 42 1 2026-10-01 19:09:44 同上 + request id
    9ddc4698-… 39 17 2026-10-01 19:20:57 31 > 30 + request id
    9ddc4698-… 40 1 2026-10-01 19:26:22 31 > 30 + request id
    87f6a9b0-… 43 11 2026-10-21 12:03:32 Too many images in request: 165 > 30
    87f6a9b0-… 45 1 2026-10-21 12:24:05 同上
    87f6a9b0-… 46 1 2026-10-21 12:30:03 同上

    扫描方式:全库 298 个会话存档、324,096 个 zstd frame 逐帧解压,按 turn/end 且 data.reason.error.message 非空过滤(否则会把引用文本重复计入)。这 8 条分属三条 provider:newapi-A(3 条)、deepseek-official(2 条)、newapi-B(3 条),模型都是 deepseek-flash。

    2. 日志原文

    %USERPROFILE%\.local\state\billion-context\bili.log.old(为可读性省略了行内重复的 [session-…] 前缀,其余逐字):

    28631: 2026-10-21T04:03:32.363Z [debug] [sess=session-87f6a9b0-…] [v=0.1.202] […] [pck] A/B retry without prompt_cache_key also failed (413) — not the key's fault; key stays, original 400 forwarded (#2645)
    28632: 2026-10-21T04:03:32.364Z [warn]  [sess=session-87f6a9b0-…] [v=0.1.202] […] ← upstream 400: {"error":{"message":"Upstream request failed: [invalid_request_error] Too many images in request: 165 \u003e 30","type":"invalid_request_error","param":"","code":null}}
    

    另两处同形:行 29492(04:24:05.740Z)、行 30195(04:30:03.930Z)。

    会话存档里成对出现(assistant/attempt.seq 与 turn/end.seq = +2),turn 43 原样:

    {"type":"assistant/attempt","seq":10738,"time":1792555412368,"data":{"turn":43,"step":11,"stream":[{"chunk":{"type":"finish","reason":{"kind":"error","failure":{"message":"400: {\"message\":\"Upstream request failed: [invalid_request_error] Too many images in request: 165 > 30\",\"type\":\"invalid_request_error\",\"param\":\"\",\"code\":null}","code":"INVALID_REQUEST"}}}}]}}
    {"type":"turn/end","seq":10740,"time":1792555412370,"data":{"turn":43,"reason":{"kind":"error","error":{"message":"400: {\"message\":…165 > 30…","code":"INVALID_REQUEST"}}}}

    3. 缺口确认:有记录、不识别、唯一补救用错对象

    1. 不识别:CONTEXT_OVERFLOW_PATTERNS 17 条全是 token/context 语义,没有一条匹配 Too many images in request: N > M 或 At most N image(s) may be provided → inspectContextOverflow 判 isOverflow:false,同请求 refold 与 !ok 直通两个调用点都跳过。
    2. 唯一动作是 pck 的 A/B 重发(openai wire: prompt_cache_key stamped unconditionally — breaks strict-schema upstreams (NVIDIA NIM 400), no config escape #2645),对"图片太多"这类错误无效;而且这次重发自己撞了 413,于是原始 400 被原样透传。
    3. 失败不裁剪 → 连环失败:turn 43 在 step 11 炸掉,44 变成 413(body 超限,bili.log 行 28714:18137632 bytes > 16777216 limit),45/46 step 1 就炸——同样的 165 张原样重发,中间没有任何丢图/收敛动作;直到 turn 47 才成功(此时该会话累计压缩已 42 次,旧图被吸收掉了)。

    4. 一个能佐证"没有张数维度"的计数

    87f6a9b0 会话存档里累计 273 个 image 内容块(都是工具结果里的截图),上游在线上实际数到 165 张——差的 ~108 张是压缩吸收掉了整条旧消息(该会话累计压缩 42 次)。

    也就是:压缩确实会让张数被动下降,但它的目标是 token/字节,不是张数——只要当前历史里剩下的图片仍然超过 M,就照样越线。45/46 两次都是 step 1 直接炸,中间没有任何以张数为目标的收敛动作。

    5. 这个 30 来自上游模型服务,不在 bili 里,也不能写死

    关键观察:三条不同的 provider 都报同一个 30(newapi-A、deepseek-official、newapi-B,见第 1 节),模型都是 deepseek-flash。这三条是彼此独立的接入方式,同一个数出现在三处,说明它来自它们共同面对的上游模型服务,而不是某台网关自己的策略,更不是 bili 的行为。

    bili 侧也对不上这个数:配置面里没有"张数上限"这个维度(第 3 节),行为上也没有任何以张数为目标的动作(第 4 节)。所以它只能"从错误里学"——写死任何一个数,在别的部署上就会失效。

    6. 对 B 的具体意见(现在就可以做)

    1. CONTEXT_OVERFLOW_PATTERNS 加两条:/Too many images in request:\s*(\d+)\s*>\s*(\d+)/i、/At most\s+(\d+)\s+image\(s\)\s+may be provided/i。第 1 条里第二个捕获组是上限 M,第一个是本次实际张数(可进日志)。
    2. 学到的上限存独立字段(如 lastImageCountLimit + imageCountLimitArmedAt),不要混进 token 窗口那两个值里(按你的核对,那个解析器会拒绝 <1000 的数,而且它驱动 token 空间收缩)。
    3. 收敛动作:复用 egress-shed 现成的"最老图片 → 稳定占位符 + 归档,decompress({imageRef}) 可恢复"机器,覆盖 openai / anthropic / responses / google 四种 shape,把出站收敛到 M−1 后同请求重发一次(走 使用pi 压缩后就提示prompt is too long #1195 那条缝),客户端看到成功而不是 400。
    4. 结构化日志:在 #174 通用行之上,命中图片张数正则时加一条解析行(上限 M、本次张数、归档张数、同请求重发结果)。
    5. 顺手:[pck] A/B 重发遇到 400/413 这类"内容无关"错误时应跳过——这次它白跑一次还撞了 413。

    7. 对 A 的意见

    扁平 imageCountCap(route / global / env 三级、默认 0=关、对齐 imageTokenCap)这个形状可以接受。只是想提一句:A 和 B 最好解耦——B 不依赖任何新配置面,可以先做;A 的形状你们定,我们这边不急。另外 A 只是"用户声明上限",替代不了 B 的运行时学习——三条 provider 都报同一个 30,说明这个值来自上游、用户无法预先声明。

    8. 环境说明(更正)

    报错侧的链路是 bili → NewAPI 网关 → 上游模型服务;Upstream request failed: [invalid_request_error] … 这层包装来自网关,bili 只是透传。

    B 的 5 点方向如没异议就好;A 缓议即可。

  6. ranxianglei commented on Oct 24, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    证据收到,三问全闭环:(a) 非本机实例 v0.1.202、(b) 没跨轮转、(c) 经过了 proxy——← upstream 400 的 #174 行就在场。四个要点:

    1. 失败形态比初报更烈:turn 43 step 11 撞 400 → turn 44 变 413(body 18.1 MiB > 16 MiB limit)→ 45/46 step 1 就炸 → turn 47 靠累计 42 次压缩恰好吸收掉旧图才成功。「每轮复现同一个 400」是温和版;实际是 400/413 连环,恢复全靠 token 目标的压缩碰运气。这进一步支持按张数收敛必须主动做,不能等压缩。
    2. 30 的来源钉死:三条彼此独立的接入路径报同一个 30、同一个模型 → 上限来自共同的上游模型服务,不是某台网关策略,更不是 bili 行为。写死任何数都是错的,用户也无法预先声明——B 的「从错误里学」是主路径,A 只能作补充。
    3. 你的日志暴露了一个实现细节(感谢贴全文):wire body 里的 > 实际被转义成 \u003e(网关对上游错误做了 HTML 风格再序列化;会话存档里看到裸 > 是 dsh JSON.parse 之后还原的形状)。所以模式要同时接受 > 与 \u003e;我只在检查侧副本上归一化(\u003e→>),转发的字节一律不动。
    4. 你的第 5 点([pck] A/B 重发白跑)确认成立:这个 400 与 prompt_cache_key 无关,openai wire: prompt_cache_key stamped unconditionally — breaks strict-schema upstreams (NVIDIA NIM 400), no config escape #2645 的 A/B 重发却照跑一次还顺带撞了 413。我会看代码,若 skip 条件能画干净(内容类 400 不做 pck A/B),并进本 PR 独立标注 commit;否则单开 issue。

    决策状态:B 零配置面、零默认值变更、全程复用既有机制,且你已在帖内确认五点方向——按「无决策依赖的部分先修」现在开工。PR 照例走人工 review(feat 不自动合并,合并按钮在 owner)。A 按你的意愿缓议,作为 #4124 内的清单项保留等 owner 拍形状(你已接受扁平 imageCountCap,争议空间更小)。

    两个旁路发现(不扩进本 PR,记录在案):

    接下来:通读 util / relay / egress-shed 三个文件 → 按五点 + \u003e 兼容 + pck skip 实现 → 定向测试过 → push 分支开 PR。

  7. ranxianglei commented on Oct 24, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    B 面(学习面)已完成,PR 已开:#4496(CI 在跑;本地定向 136 条测试全绿,含新增 17 条)。你的现场日志钉死了两个关键判断:① cap=30 来自共享的上游模型服务而非某个网关或 bili → 「从 400 本身学习」是正确机制,硬编码不可行;② wire body 里 > 被转义成 \u003e——词表已同时兼容两种形态。

    更正一条:我之前说「16 MiB 的 413 发生在 bili 侧」——查证后不对。bili 自己的出站 413 模板(rebuilt request exceeds …)与日志里 18137632 bytes > 16777216 limit 形状不符;该 413 是网关侧字节墙(nginx 类 16 MiB 默认值),与 #3909 同家族——已在 #3909 下补了带来源标记的交叉引用评论。本修复让张数收敛后字节随之下降,这类次级墙也会少撞。

    结构化八问

    1. 是什么问题:上游对单请求图片张数有硬上限时(如 vLLM --limit-mm-per-prompt=30),bili 原样转发,超限后每轮同一个 400,会话只能靠手动压缩解围。
    2. 什么原因导致:两层——图片在 bili 里只是成本对象(token/字节),没有「数量」维度,文本侧水位够不着折叠阈值;同时拒收词表只认 token/context 形状,这条 400 连「容量类」都没被识别,既有恢复机制(arm/shrink/refold)全部不触发。
    3. 影响范围与严重程度:只影响上游有按请求张数硬上限、且历史图累积超限的会话(你的样本:3 会话 / 3 provider 共 8 次);命中后每轮失败直到手动压缩(有绕行 → p2)。无此类上限的上游或低于上限的会话零变化(字节逐字不变,双向断言)。
    4. 怎么修复的(机制层面):从拒收本身学习——拒收识别加独立图片张数通道(与 token 通道严格分离:30 这种小数值混入 token 通道会武装 token 收缩,且 token 解析器本就拒收 <1000);复用 egress-shed 归档机器把出站副本收敛到 cap−1(最旧优先归档、原位留稳定占位、像素留在会话存储、decompress({imageRef}) 可取回);同请求内重发一次(客户端看到成功,看不到 400);学到的上限按 origin 持久化,后续请求预发送主动收敛(不再浪费往返);pck A/B 探测跳过内容墙 400(无 key 消融同样会失败,白跑)。零配置面——学习不依赖用户声明。
    5. 是否有回归问题:逐项审过——token/context 溢出路径(arm/refold/shrink)未动(图片通道独立判定,isOverflow 语义保持);WS 字节 shedding 路径未动;低于上限请求字节逐字不变;fix: log non-2xx upstream responses (status + request-id + body snippet) #174 non-2xx 日志保留;pck 身份记录未动(仅跳过探测)。无 fail-fast 变吞错、无阈值/时序漂移、无输出格式变化。context-overflow/cjk/side-request-isolation/issue2484/issue1195/issue3787/fix-arm-headroom-clamp/issue3701/openai-pck-identity/upstream-error-log 定向全绿,全套件交 CI。
    6. 是否破坏缓存:不破坏——收敛对出站副本纯确定性(同输入→同字节)、占位稳定、前缀缓存不受影响;被归档原件经 decompress({imageRef}) 可取回,非静默丢图(Archive-then-fold: default folding for archivable media (Closes #2607, Fixes #2609) #2640 不变量保持)。注意:主动收敛使受限路由上模型看到的旧图比之前少——可见变化但可恢复,见下表。
    7. 是否改了设计方向:没有——不动文本侧计量/折叠触发/kernel/wire 协议形状;只在既有「拒收学习 + egress shed」机制上加一个数量维度。
    8. 是否引入新配置:无(B 面零配置)。A 面(扁平 imageCountCap,route/global/env 三层、默认关、参照 imageTokenCap 先例)等你对形状拍板:现在批准 → 并入 [PR] Learn upstream per-prompt image-count caps and converge outbound images — no more 'Too many images' 400 loops #4496 合并前(代价:配置面随 B 一起进评审,diff 略宽);缓议 → B 单独合入、A 继续作为本 issue 清单项跟踪(代价:无,B 自洽闭环)。

    行为变更清单(旧 → 新)

    旧 新 原因
    counted 400 原样转发每轮复现,会话死锁到手动压缩 收敛+同请求内重发一次,客户端看到成功(首次多一个上游往返) 可用性大于性能;拒收自己给出了精确修法
    学到的上限 不存在 按 origin 持久化、无 TTL 陈旧无害:过期上限只会多收敛(可恢复),不会少收敛
    受限路由后续请求 照发、历史涨回来再被拒 count > cap−1 时预发送主动收敛 源头消灭循环;模型看到的旧图变少(可恢复、占位稳定)
    pck A/B 探测遇内容墙 400 跑无 key 消融、同样失败 检查即跳过 省一次白跑往返;key 去留结果不变

    待办:① A 面配置形状等你拍板(第 8 问两选项);② #4496 CI 结果;③ A 批准后按拍板结果并入 #4496 或另开。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions