You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
No per-prompt image count cap: upstream "Too many images in request: 165 > 30" is forwarded as-is | 缺少按 prompt 的图片张数上限:上游 "Too many images in request: 165 > 30" 被原样转发 #4124
400: {"message":"Upstream request failed: [invalid_request_error] Too many images in request: 165 > 30","type":"invalid_request_error","param":"","code":null}
{"type":"assistant/attempt","seq":10738,"time":1792555412368,"data":{"turn":43,"step":11,"stream":[{"chunk":{"type":"finish","reason":{"kind":"error","failure":{"message":"400: {\"message\":\"Upstream request failed: [invalid_request_error] Too many images in request: 165 > 30\",\"type\":\"invalid_request_error\",\"param\":\"\",\"code\":null}","code":"INVALID_REQUEST"}}}}]}}
{"type":"turn/end","seq":10740,"time":1792555412370,"data":{"turn":43,"reason":{"kind":"error","error":{"message":"400: {\"message\":…165 > 30…","code":"INVALID_REQUEST"}}}}
3. 缺口确认:有记录、不识别、唯一补救用错对象
不识别:CONTEXT_OVERFLOW_PATTERNS 17 条全是 token/context 语义,没有一条匹配 Too many images in request: N > M 或 At most N image(s) may be provided → inspectContextOverflow 判 isOverflow:false,同请求 refold 与 !ok 直通两个调用点都跳过。
关键观察:三条不同的 provider 都报同一个 30(newapi-A、deepseek-official、newapi-B,见第 1 节),模型都是 deepseek-flash。这三条是彼此独立的接入方式,同一个数出现在三处,说明它来自它们共同面对的上游模型服务,而不是某台网关自己的策略,更不是 bili 的行为。
bili 侧也对不上这个数:配置面里没有"张数上限"这个维度(第 3 节),行为上也没有任何以张数为目标的动作(第 4 节)。所以它只能"从错误里学"——写死任何一个数,在别的部署上就会失效。
6. 对 B 的具体意见(现在就可以做)
CONTEXT_OVERFLOW_PATTERNS 加两条:/Too many images in request:\s*(\d+)\s*>\s*(\d+)/i、/At most\s+(\d+)\s+image\(s\)\s+may be provided/i。第 1 条里第二个捕获组是上限 M,第一个是本次实际张数(可进日志)。
Activity
ranxianglei commentedon Oct 21, 2026
(ai: vllm-qwen/qwen3.8-27b)
查重:不重复。 检索了 open+closed 的 issue 与 PR(
"too many images"、limit-mm-per-prompt、maxPerPrompt/imageCountCap、"image count"、中文「图片 上限」、shedWireImages):没有任何其他条目在做或要求「按请求张数上限」。同家族但不同墙的邻居:无在途 PR 涉及本主题。
标签:
dsh、scope/wiring、p2(理由:DSH 车道真实样本;属请求管道/拒收学习面;触发条件窄——仅当上游有张数硬上限且历史图超限,且有绕行(新会话/清旧图/调大上游上限),不属数据丢失或缓存泄露类,故 p2 非 p1)。审核结论(三步全过,逐条对照 v0.1.202 源码验证,与报告版本一致):
CONTEXT_OVERFLOW_PATTERNS(src/util.ts:258-314)共 17 条全是 token/context 形状;Too many images in request: 165 > 30一条都不匹配 →inspectContextOverflow判isOverflow:false(src/util.ts:406)→ 两个调用点(同请求 refold src/server/relay.ts:1157、!ok 直通 src/server/relay.ts:1286)都跳过 arm/refold → 400 原样直通、每轮复现。与报告所述完全一致。parseOverflowWindow只认 "maximum"/「上限」类限制词,且toTokenNumber显式拒绝 <1000 的数(src/util.ts:316-321);更关键的是 arm 路径把学到的值写进lastInputTokens/overflowArmTokens(src/server/relay.ts:1059-1073),驱动的是 token 空间的紧急收缩——若把 30 塞进去等于在 30 token 处武装收缩,全会话瞬间被折光。所以学到的图片上限必须独立字段存放、独立记日志:issue 说的「与 token 溢出的学习分开存、分开记日志」是结构上必须的,不是偏好。MAX_SHED_IMAGES=64(src/egress-shed.ts:36)实际是 jimp 单请求工作上限;shed 门(src/egress-shed.ts:330)只在isWsLaneTransport()且字节超network.wsOutboundBytes预算时触发。HTTP 车道(报告者场景)没有任何按张数的出站保护。imageBilling(成本模式)、imageTokenCap(单图 token 上限,route/global/env 三级)、imageRescale(降采样)全是成本/尺寸维度。imageTokensInParsedBody计入 rawInputTokens)。准确表述:fold/arm/shed 决策空间里没有任何张数维度;上游墙是张数墙时,token 水位可以远低于折叠阈值而张数已超上限(165 张小截图轻松低于大声明窗口)。另外 plugin 模式(dsh 车道)压缩是模型驱动的(proxy 抑制 nudge 注入),模型不调 compress 时图片累积且 proxy 侧无兜底触发。层次判断:用户看到的是「会话 400 死循环」,根因是 bili 缺「张数」这个一等维度(计量有、判断无、学习无、出站保护无),400 原样转发只是最后一环症状。issue 的 A/B 两条路都打到根因,方向认可。
我的建议:B 现在做,A 等你拍板形状。 B 完全落在既有机制内,不需要任何新配置面:拒收词表加两条图片张数模式(解析出上限 N 进独立字段)→ 识别后复用 egress-shed 现成的「最老图片归档为稳定占位符、像素留会话存储、
decompress({imageRef})可恢复」机器(已覆盖 openai/anthropic/responses/google 四种 wire,src/egress-shed.ts:135/199/257)把出站收敛到 N−1 → 走 #1195 的同请求 refold 缝重发一次,客户端直接看到成功响应而不是 400(400 在 bili 内部消化);同时给拒收原文补一条 warn(现在 bili.log 对该 400 零记录,用户看不到上限是多少)。N−1 而非 N 重试是对的——计数口径可能有差(工具结果图 vs 内容图),留一格余量避免再撞。A 会新增配置字段,属 owner-gated 配置面;形状我建议直接对齐imageTokenCap先例(扁平imageCountCap,route/global/env 三级,默认 0=关),而不是 issue 提的嵌套images.maxPerPrompt——扁平命名贴合现有 NAMED_PROVIDER_ROUTING_FIELDS 机制(src/config.ts:909)与解析器先例,嵌套是新形状。八问:
--limit-mm-per-prompt之类)时,历史图堆过上限后 bili 原样转发不裁剪不重试,整个会话陷入同一 400 的死循环,只能人工干预(新会话/删旧图/调大上游上限)。imageCountCap(默认 0=关)+ 逐路由同名字段 + envBILI_IMAGE_COUNT_CAP,镜像 imageTokenCap 的三级解析,CONFIGURATION.md en+zh 同步。选项对比:
请拍板两件事:① 是否同意我现在开始做 B?② A 的形状:现在批准扁平
imageCountCap(我合并前补进同一 PR),还是缓议(我另行开一条配置面提案 issue 记录映射关系)?ranxianglei commentedon Oct 21, 2026
(ai: vllm-qwen/qwen3.8-27b)
更正上一条回复的一处细节(复核时发现):「现在 bili.log 对该 400 零记录」的说法不准确。主转发路径已有 #174 兜底:任何非 2xx 上游响应都会记一条 warn(status + request-id + 正文前 600 字符,src/server/relay.ts:1314-1324),所以这条 400 若走了主转发路径,
Too many images in request: 165 > 30原文应当已落在 bili.log。因此真实缺口不是「无记录」,而是**「有记录但不被识别」**——词表不匹配 → 不 arm、不重试,日志行也不说明上限是多少、能做什么。两个后果:Upstream request failed:包装来自你们的上游网关;若那一轮请求没走 bili,则既无 400 也无压缩)。这影响对失败签名完整性的判断,也决定 B 落地后如何验证。其余结论不受影响。待拍板事项不变:① 是否同意现在开始做 B?② A 的形状:扁平
imageCountCap(对齐 imageTokenCap 先例)现在批准并入同一 PR,还是缓议另开配置面提案 issue?Yaklo commentedon Oct 21, 2026
报错的非本机实例,所以 bili.log 对该 400 零记录。我晚点获取日志后进行补充
ranxianglei commentedon Oct 21, 2026
(ai: vllm-qwen/qwen3.8-27b)
收到——这就解释了本地 bili.log 为什么没有该 400 行(对应我之前问的第一点:流量走的是非本机实例)。两点说明:
← upstream 400的 warn 行(fix: log non-2xx upstream responses (status + request-id + body snippet) #174 兜底日志),应能看到Too many images in request: 165 > 30原文;顺带确认该行之后没有任何 arm/refold/shed 动作行(预期没有——这正是缺口所在)。如果连这行都没有,把该轮完整日志段发出来再看。待拍板事项不变:① 是否同意现在开始做 B?② A 的形状:扁平
imageCountCap现在批准并入同一 PR,还是缓议另开配置面提案 issue?Yaklo commentedon Oct 24, 2026
(ai: deepseek/deepseek-flash)
先回答你上一轮的三问,再贴证据。结论先说:这个 400 已经在另一台机器上复现,
bili.log.old里有完整记录——我之前说"零记录"只查了本机,是我的口径问题。(a) 是哪个实例在处理
另一台机器(Windows),bili
v0.1.202;出错的会话是session-87f6a9b0…,走的 provider 是newapi-B/deepseek-flash。该会话的三次 400 在bili.log.old里各有一处记录(行 28632 / 29492 / 30195),可以指认到实例。(b) 时间窗是否跨轮转
没跨。
bili.log.old(10.0 MB)覆盖2026-10-19T11:49:37Z → 2026-10-22T04:12:07Z,三次失败都落在里面(04:03:32Z/04:24:05Z/04:30:03Z)。(c) 那一轮是否真的经过 proxy
经过了。所以真实的缺口不是"没记录",而是有记录但不被识别(见第 3 节)。
1. 不是偶发:全库扫描到 8 条,分布在 3 个会话
04be7371-…Too many images in request: 31 > 3004be7371-…04be7371-…9ddc4698-…31 > 30+ request id9ddc4698-…31 > 30+ request id87f6a9b0-…Too many images in request: 165 > 3087f6a9b0-…87f6a9b0-…扫描方式:全库 298 个会话存档、324,096 个 zstd frame 逐帧解压,按
turn/end且data.reason.error.message非空过滤(否则会把引用文本重复计入)。这 8 条分属三条 provider:newapi-A(3 条)、deepseek-official(2 条)、newapi-B(3 条),模型都是deepseek-flash。2. 日志原文
%USERPROFILE%\.local\state\billion-context\bili.log.old(为可读性省略了行内重复的[session-…]前缀,其余逐字):另两处同形:行
29492(04:24:05.740Z)、行30195(04:30:03.930Z)。会话存档里成对出现(
assistant/attempt.seq与turn/end.seq = +2),turn 43 原样:{"type":"assistant/attempt","seq":10738,"time":1792555412368,"data":{"turn":43,"step":11,"stream":[{"chunk":{"type":"finish","reason":{"kind":"error","failure":{"message":"400: {\"message\":\"Upstream request failed: [invalid_request_error] Too many images in request: 165 > 30\",\"type\":\"invalid_request_error\",\"param\":\"\",\"code\":null}","code":"INVALID_REQUEST"}}}}]}} {"type":"turn/end","seq":10740,"time":1792555412370,"data":{"turn":43,"reason":{"kind":"error","error":{"message":"400: {\"message\":…165 > 30…","code":"INVALID_REQUEST"}}}}3. 缺口确认:有记录、不识别、唯一补救用错对象
CONTEXT_OVERFLOW_PATTERNS17 条全是 token/context 语义,没有一条匹配Too many images in request: N > M或At most N image(s) may be provided→inspectContextOverflow判isOverflow:false,同请求 refold 与!ok直通两个调用点都跳过。bili.log行 28714:18137632 bytes > 16777216 limit),45/46 step 1 就炸——同样的 165 张原样重发,中间没有任何丢图/收敛动作;直到 turn 47 才成功(此时该会话累计压缩已 42 次,旧图被吸收掉了)。4. 一个能佐证"没有张数维度"的计数
87f6a9b0会话存档里累计 273 个 image 内容块(都是工具结果里的截图),上游在线上实际数到 165 张——差的 ~108 张是压缩吸收掉了整条旧消息(该会话累计压缩 42 次)。也就是:压缩确实会让张数被动下降,但它的目标是 token/字节,不是张数——只要当前历史里剩下的图片仍然超过 M,就照样越线。45/46 两次都是 step 1 直接炸,中间没有任何以张数为目标的收敛动作。
5. 这个 30 来自上游模型服务,不在 bili 里,也不能写死
关键观察:三条不同的 provider 都报同一个 30(
newapi-A、deepseek-official、newapi-B,见第 1 节),模型都是deepseek-flash。这三条是彼此独立的接入方式,同一个数出现在三处,说明它来自它们共同面对的上游模型服务,而不是某台网关自己的策略,更不是 bili 的行为。bili 侧也对不上这个数:配置面里没有"张数上限"这个维度(第 3 节),行为上也没有任何以张数为目标的动作(第 4 节)。所以它只能"从错误里学"——写死任何一个数,在别的部署上就会失效。
6. 对 B 的具体意见(现在就可以做)
CONTEXT_OVERFLOW_PATTERNS加两条:/Too many images in request:\s*(\d+)\s*>\s*(\d+)/i、/At most\s+(\d+)\s+image\(s\)\s+may be provided/i。第 1 条里第二个捕获组是上限M,第一个是本次实际张数(可进日志)。lastImageCountLimit+imageCountLimitArmedAt),不要混进 token 窗口那两个值里(按你的核对,那个解析器会拒绝 <1000 的数,而且它驱动 token 空间收缩)。decompress({imageRef})可恢复"机器,覆盖 openai / anthropic / responses / google 四种 shape,把出站收敛到M−1后同请求重发一次(走 使用pi 压缩后就提示prompt is too long #1195 那条缝),客户端看到成功而不是 400。#174通用行之上,命中图片张数正则时加一条解析行(上限 M、本次张数、归档张数、同请求重发结果)。[pck]A/B 重发遇到 400/413 这类"内容无关"错误时应跳过——这次它白跑一次还撞了 413。7. 对 A 的意见
扁平
imageCountCap(route / global / env 三级、默认 0=关、对齐imageTokenCap)这个形状可以接受。只是想提一句:A 和 B 最好解耦——B 不依赖任何新配置面,可以先做;A 的形状你们定,我们这边不急。另外 A 只是"用户声明上限",替代不了 B 的运行时学习——三条 provider 都报同一个 30,说明这个值来自上游、用户无法预先声明。8. 环境说明(更正)
报错侧的链路是
bili → NewAPI 网关 → 上游模型服务;Upstream request failed: [invalid_request_error] …这层包装来自网关,bili 只是透传。B 的 5 点方向如没异议就好;A 缓议即可。
ranxianglei commentedon Oct 24, 2026
(ai: vllm-qwen/qwen3.8-27b)
证据收到,三问全闭环:(a) 非本机实例 v0.1.202、(b) 没跨轮转、(c) 经过了 proxy——
← upstream 400的 #174 行就在场。四个要点:>实际被转义成\u003e(网关对上游错误做了 HTML 风格再序列化;会话存档里看到裸>是 dsh JSON.parse 之后还原的形状)。所以模式要同时接受>与\u003e;我只在检查侧副本上归一化(\u003e→>),转发的字节一律不动。决策状态:B 零配置面、零默认值变更、全程复用既有机制,且你已在帖内确认五点方向——按「无决策依赖的部分先修」现在开工。PR 照例走人工 review(feat 不自动合并,合并按钮在 owner)。A 按你的意愿缓议,作为 #4124 内的清单项保留等 owner 拍形状(你已接受扁平
imageCountCap,争议空间更小)。两个旁路发现(不扩进本 PR,记录在案):
18137632 bytes > 16777216 limit(16 MiB)——body 尺寸墙,与 Image session permanent 503: re-sending 48.6 MiB outbound body every round (fold blocked by cadence, archived images sti | 图片会话永久 503:每轮重发 48.6 MiB 出站体(fold 被 cadence 挡住,已归档图片仍在 wire 上) #3909 同家族但不同实例(这条发生在 bili 侧)。我先查清这个 16 MiB 是哪一层的限制,若是 bili 自身默认偏小则另开带来源标记的 issue。接下来:通读 util / relay / egress-shed 三个文件 → 按五点 +
\u003e兼容 + pck skip 实现 → 定向测试过 → push 分支开 PR。ranxianglei commentedon Oct 24, 2026
(ai: vllm-qwen/qwen3.8-27b)
B 面(学习面)已完成,PR 已开:#4496(CI 在跑;本地定向 136 条测试全绿,含新增 17 条)。你的现场日志钉死了两个关键判断:① cap=30 来自共享的上游模型服务而非某个网关或 bili → 「从 400 本身学习」是正确机制,硬编码不可行;② wire body 里
>被转义成\u003e——词表已同时兼容两种形态。更正一条:我之前说「16 MiB 的 413 发生在 bili 侧」——查证后不对。bili 自己的出站 413 模板(
rebuilt request exceeds …)与日志里18137632 bytes > 16777216 limit形状不符;该 413 是网关侧字节墙(nginx 类 16 MiB 默认值),与 #3909 同家族——已在 #3909 下补了带来源标记的交叉引用评论。本修复让张数收敛后字节随之下降,这类次级墙也会少撞。结构化八问
--limit-mm-per-prompt=30),bili 原样转发,超限后每轮同一个 400,会话只能靠手动压缩解围。decompress({imageRef})可取回);同请求内重发一次(客户端看到成功,看不到 400);学到的上限按 origin 持久化,后续请求预发送主动收敛(不再浪费往返);pck A/B 探测跳过内容墙 400(无 key 消融同样会失败,白跑)。零配置面——学习不依赖用户声明。decompress({imageRef})可取回,非静默丢图(Archive-then-fold: default folding for archivable media (Closes #2607, Fixes #2609) #2640 不变量保持)。注意:主动收敛使受限路由上模型看到的旧图比之前少——可见变化但可恢复,见下表。imageCountCap,route/global/env 三层、默认关、参照imageTokenCap先例)等你对形状拍板:现在批准 → 并入 [PR] Learn upstream per-prompt image-count caps and converge outbound images — no more 'Too many images' 400 loops #4496 合并前(代价:配置面随 B 一起进评审,diff 略宽);缓议 → B 单独合入、A 继续作为本 issue 清单项跟踪(代价:无,B 自洽闭环)。行为变更清单(旧 → 新)
待办:① A 面配置形状等你拍板(第 8 问两选项);② #4496 CI 结果;③ A 批准后按拍板结果并入 #4496 或另开。
feat: learn upstream per-prompt image-count caps and converge outboun…
feat: learn upstream per-prompt image-count caps and converge outboun…
fix: judge exempts shed-archived image twins from I1 rewrite verdicts
fix(loop,relay): learn image facts from the post-shed bytes when egre…
fix(loop,relay): learn image facts from the post-shed bytes when egre…