Skip to content

[Bug] #496 后续:旧 baseline 超窗时官方 Codex 图片估算持续误触发 502 #767

Closed

Description

@Wuxie233

问题

#496 / #500 的后续:在官方 Codex 像素计费上游,历史 lastInputTokens 已高于窗口时,图片按 base64/4 高估会导致 preflight 持续返回 502。即使当前图片实际只占几千 token,重试仍被本地拦截。

环境

  • billion-context v0.1.97,commit 488c9a4b7729e2fca1c9563c4e3b34d70f05e0bc
  • acp-kernel 0.0.61
  • Codex Responses / store:false,官方 chatgpt.com/backend-api/codex 上游
  • model gpt-6-astra,effective context limit 272000
  • 初始未设置 BILI_IMAGE_TOKEN_CAP

实际现象

原会话连续出现以下错误(略去会话标识):

context ~696789 tokens exceeds the model window 272000 (model=gpt-6-astra)
Images alone account for ~584498 tokens (≥ window 272000); compression cannot remove them — shrink or remove the images, or raise the window.
The over-window payload was NOT forwarded.

持久状态中的 lastInputTokens / contextTokens 均为 696789。该会话此前观测到的真实上游 input usage 为 32915, 39050, 47124, 51214;异常高 baseline 的最初形成路径尚未完全定位,不把这个数视为真实图片计费证据。

最小复现与验证

用隔离的本地 mock Responses upstream 验证同一组两张图片:

  1. 先发送小请求建立非 anonymous 会话。
  2. 将会话 stats.lastInputTokens 设为 696789,窗口为 272000。
  3. 发送包含两张较大 base64 input_image 的请求;本次图片估算合计 678898,文本很少。
  4. 默认配置返回 502,mock 上游收到图片数 0。
  5. 仅设置 BILI_IMAGE_TOKEN_CAP=16384,其余输入相同,返回 200,mock 上游收到图片数 2;payload 估算降为 33307,其中图片 32768。

注意:两张原图完整提取后的 678898 是隔离复现 fixture 的估算,不是原报错最终 prepared payload 中的 584498。

在运行服务设置同样 cap 后,另外通过官方上游发送两张完整原图,得到 HTTP 200 + response.completed,文本输出 ACP_IMAGE_OK,上游总 input usage 6617,其中两张图片归因分别为 2458 / 1910。没有删图、缩图或提高 context window。此验证是独立真实请求;原交互任务的完整续跑尚未确认。

已有回归测试通过:

  • tests/fix-488-multimodal.test.ts:7 tests
  • tests/issue496-forward-once-learn.test.ts:1 test

可能原因

src/image-tokens.ts 默认 ceil(base64.length / 4) 适配 byte-counting relay,但会高估官方像素计费输入。已有逐张 cap 能缓解此问题。

src/server.ts 的 #496 放行条件为:

const noOverflowEvidence = session.stats.lastInputTokens < limit && learnedLimit === undefined;

旧 baseline 超窗就会关闭“让上游仲裁一次”的路径;旧的 learned limit 也会关闭它。二者本身不足以证明当前图片按字节计费。本次直接复现覆盖 stale baseline,未单独验证 learned-limit-only 变体。

cap 使当前 payload 估算小于窗口后,现有 stale-baseline bypass 能正常放行。

临时修复与建议

当前在仅连接官方 Codex 的服务进程设置:

[Service]
Environment=BILI_IMAGE_TOKEN_CAP=16384

这是估算上限而非准确计费,且配置作用于整个进程;不建议不加区分地用于混合或 byte-counting relay 上游。

希望上游考虑针对计费方式/上游的图片估算策略,以及历史 baseline 超窗后的恢复测试。建议保留 #496 对真实 byte-relay overflow 的“一次拒绝后阻断”保证,避免简单移除 noOverflowEvidence 而恢复重复 400 循环。

本报告不附私人图片、认证信息或原始会话记录。

Activity

  1. ranxianglei commented on Sep 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 Triage 完成:问题已确认存在,根因分层已定位,开始实现,稍后开 PR。

    验证(代码路径与你的复现一致):

    层次判断:这里其实是两个独立缺陷叠加:

    1. 估算层(主因):ceil(base64/4) 对 pixel-tile 上游系统性高估数个量级——你的真实测量里两张原图上游只计费 2458 / 1910 tokens,而 base64/4 给出数十万。
    2. baseline 层:历史 baseline 超窗被当作“溢出证据”。但注意:纯文本场景 fix: stitched-stream usage double-count after compress re-request (adapter-anthropic >0 guard) #300 逃生口已经能自愈(baseline 超窗但当前文本估算在窗内 → 直接转发)。也就是说只修估算层,stale-baseline 和 learned-limit-only 两个变体都能经现有 fix: stitched-stream usage double-count after compress re-request (adapter-anthropic >0 guard) #300 路径恢复,无需动 noOverflowEvidence——你要求保留的 PR #489 后续: 默认图片计费 b64/4 在像素 tile 计费上游(官方 Anthropic/OpenAI)会硬 502 误杀多模态会话 #496 “一次拒绝后阻断”保证原样保留。你的判断成立。

    方案(正在实现):

    • 新增图片计费模式 imageBilling: "auto" | "pixels" | "bytes":per-provider 配置 + 全局配置 + env BILI_IMAGE_BILLING(env 优先级最高)。
    • 默认 auto:已知 first-party pixel-tile 上游(api.openai.com / chatgpt.com(含 backend-api/codex)/ api.anthropic.com 等)自动走 pixels;其他 relay 保持保守的 bytes 估算(多模态会话上下文控制失效 + preflight 救援 502(codex responses store:false) #488 行为不变)。
    • pixels 模式:解析 PNG/JPEG/WebP/GIF/BMP 头部拿真实尺寸(只解码前若干字节,不解全图),按 OpenAI high-detail tile 公式 85 + 170×tiles 估算(上限 2805/张);无法解析的格式回退到 16384 平值(即你验证过的值)。BILI_IMAGE_TOKEN_CAP 继续作为全局 clamp 生效。
    • 回归测试:e2e 复现你的场景(stale lastInputTokens=696789 / 窗口 272000 + 两张大 base64 图 → 200、mock 上游收到 2 张图;usage 回报后 baseline 降回窗内,会话恢复)+ 各格式头部解析单测 + byte-relay 行为不变的断言(issue496 测试须继续通过)。
    • 文档:CONFIGURATION.md(中英)+ CHANGELOG。

    你的临时修复(进程级 BILI_IMAGE_TOKEN_CAP=16384)可以保留到该版本发布;发布后官方 Codex 进程用默认 auto(或显式 "pixels")即可,不再需要 cap。

  2. ranxianglei commented on Sep 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已修复,PR: #771

    审核结论(先于实现):问题成立且已独立复现。层次判断——你定位的两条关闭路径都对,但根因在更上游一层:noOverflowEvidence 只是"旧 baseline 超窗"的症状传播器,真正的病因是 src/image-tokens.ts 对像素计费上游用 base64/4 计费,把 payloadEstimate 推过窗口,于是连 #300 的 stale-baseline 逃生口(要求 payloadEstimate < limit)也一起失效。纯文本会话本来就能经 #300 自愈,只有带图请求被卡死——所以只修估算层就能同时恢复 stale-baseline 和 learned-limit-only 两个变体,无需动 noOverflowEvidence,#496 对真实 byte-relay overflow 的"一次拒绝后阻断"保证原样保留(这正是你建议的方向)。

    改动:

    • 新增 imageBilling 配置(全局 + 按 provider providers.<url>.imageBilling),取值 "auto" | "pixels" | "bytes";env BILI_IMAGE_BILLING 覆盖两级、逐请求实时读取。优先级:env > per-provider > global > auto。
    • pixels:只解析图片头(PNG/JPEG/WebP/GIF/BMP,有界解码,不解码整图)取真实尺寸,按 OpenAI high-detail tile 模型计费(512px tile、短边放大到 768、长边封顶 2048 → 每图 85+170×tiles = 765–2805 token);无法解析的格式回退固定 16384(高于两家第一方上限 OpenAI 2805 / Anthropic ~1534,又远低于任何 >64KB 内联图的 base64/4)。
    • bytes 保持默认,relay 保护不变;BILI_IMAGE_TOKEN_CAP 仍在两种模式之上统一封顶;远程 URL 维持固定 4096。
    • auto 按上游 host 分类:openai.com / openai.azure.com / chatgpt.com / api.anthropic.com 后缀 → pixels,其余 → bytes。官方 Codex 路由零配置即生效。
    • 四个估算调用点(side-request guard、两处 output clamp、preflight 门)+ forward() 溢出错误路径全部接入,配置热加载同步更新。
    • 恢复只需一轮:usage report 是绝对赋值,真实计费回写后 baseline 立即回落窗口内。

    验证:新增 tests/issue767-pixel-billing.test.ts(9 tests)——单测覆盖五种容器格式尺寸解析(含 JPEG SOF 跨 EXIF padding)、tile 公式边界、host 分类与显式覆盖、cap 交互;E2E 按你的复现步骤镜像(mock Responses upstream):stale baseline 696789 + 两张大 base64 截图,pixels 下 200、两图原样转发、baseline 恢复到窗口内、后续轮次持续正常;同 payload 默认 bytes 下 502 fail-fast、0 张图到达上游(relay 保护钉死);另补了你提到未验证的 learned-limit-only 变体(同样关闭 forward-once)和 env 优先级。typecheck ✓ / 全量测试 1438 pass 0 fail ✓ / build ✓。文档已更新(CONFIGURATION.md + zh-CN + CHANGELOG)。

    发布后你可以把进程级的 BILI_IMAGE_TOKEN_CAP=16384 去掉——官方 Codex 路由会自动按 tile 计费;想显式控制就设 "imageBilling": "pixels" 或 BILI_IMAGE_BILLING=pixels。

    一句话总结:修复了像素计费上游上图片按字节高估导致旧 baseline 超窗后会话永久 502 的问题(新增 pixels/bytes 图片计费模式,auto 自动识别官方像素计费 host),已按你的复现步骤回归验证并保留 #496 阻断保证,PR #771 可合并。

  3. added 2 commits that reference this issue on Sep 14, 2026
  4. added a commit that references this issue on Sep 15, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions