Skip to content

bili 0.1.181:clampOutputBudget 把小数写进 max_tokens,上游 400 max_tokens: Input should be a valid integer / 422 Endpoint is unavailable #2011

Closed

Description

@kyouchanno-beep

Description *

clampOutputBudget() 的返回值没有取整。0.1.181 起 inputEstimate 会带小数(本次日志 input~85032.5、99364.25),于是 clamp 出的 cap 也是小数(110715.5、95666.75),被 clampOutgoingOutput() 原样写进请求体的 max_tokens。把 max_tokens 当严格整数校验的上游直接拒收:

  • 走到自校验:400 {"error":{"type":"server_error","message":"Upstream request failed: max_tokens: Input should be a valid integer"}}
  • 走到下一跳才炸:422 {"error":{"type":"server_error","message":"Upstream request failed: Endpoint is unavailable."}}

两者都让整个 agent turn 直接失败。clamp 本身(#453 的输入+输出溢出保护)是对的方向,问题只出在最后一步没有 Math.floor。

bili version *

v0.1.181

Usage mode *

Plugin native (bili plugin install …, runs inside the host process)

Client and version *

DSH Desktop 0.2.0-rc.2(@deepseek-ai/dsh-agent-loop);Node v24.14.0;Windows 10 x64

Operating system *

Windows 10

Upstream and model *

OpenAI-compatible /v1/chat/completions,自建网关 https://<redacted>/zen/go/v1/chat/completions,模型 deepseek-v4.1-flash;该模型 native window = 200000

Compression-related config (optional)

Log excerpt (strongly recommended)

代理日志里 `output budget clamped 384000 -> <小数>` 共 **13 次,全部 `[v=0.1.181]`、全部 2026-10-03**,与 `← upstream (422|400)` **13 次一一对应**(每次相隔 2–15 秒,同一 session):


2026-10-03T01:58:23.993Z [info] [sess=session-c63d88c9-...] [v=0.1.181] output budget clamped 384000 -> 110715.5 (input~85032.5, window=200000); prevents input+output overflow (#453)
2026-10-03T01:58:26.563Z ... ← upstream 422: {"error":{"type":"server_error","message":"Upstream request failed: Endpoint is unavailable."}}
2026-10-03T02:00:14.464Z [v=0.1.181] output budget clamped 384000 -> 110715.5 (input~85032.5, window=200000); ... (#453)
2026-10-03T02:00:16.628Z ... ← upstream 400: {"error":{"type":"server_error","message":"Upstream request failed: max_tokens: Input should be a valid integer"}}
2026-10-03T02:08:25.584Z [v=0.1.181] output budget clamped 384000 -> 88015.5 (input~...); ... (#453)
2026-10-03T02:08:29.008Z ... ← upstream 400: ... max_tokens: Input should be a valid integer
2026-10-03T02:30:35.966Z [v=0.1.181] output budget clamped 384000 -> 157518.5 ... (#453)   → ← upstream 400
2026-10-03T06:44:45.711Z [v=0.1.181] output budget clamped 384000 -> 95666.75 ... (#453)   → ← upstream 422
2026-10-03T06:51:11.546Z [v=0.1.181] output budget clamped 384000 -> 95666.75 ... (#453)   → ← upstream 422


Host 侧(DSH)同一时刻的 13 条:


2026-10-03 17:58:26.568 [E] [dsh-agent-error] agent turn failed (session session-c63d88c9-..., turn 43, step 3)
  [PI_AI_ERROR]: 422: {"type":"server_error","message":"Upstream request failed: Endpoint is unavailable."}
2026-10-03 ... [INVALID_REQUEST]: 400: {"type":"server_error","message":"Upstream request failed: max_tokens: Input should be a valid integer"}


**对照组(同机、同客户端、同上游)**:v ≤ 0.1.180 的日志(2026-09-30 / 10-01 / 10-02)里,clamp 结果 **5421+ 行全是整数**,且这两天 400/422 一条都没有:


[v=0.1.174] output budget clamped 384000 -> 147561 (input~49941, window=200000); ... (#453)
[v=0.1.175] output budget clamped 384000 -> 120528 (input~75687, window=200000); ... (#453)


即:clamp 早已存在且一直安全,**小数的 `inputEstimate` 与小数 `cap` 是 0.1.181 才出现的**。

/acp or acp_status output (optional)

[acp-usage] input=... cached=... (cache hit ...)   ← 该 session 的 other 行正常,只有 clamp 那一笔坏了

Activity

  1. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    已定位并修复,PR:#2012 (Closes #2011)。

    先说结论:这是 0.1.181 引入的整数类型违约——proxy 把一个小数写进了线上 max_tokens。修法是在写出边界强制取整,两层各挡一道。v≤0.1.180 与所有整数值场景字节级不变。

    复现证据:用你日志里的原始值直接跑真实代码——

    • clampOutputBudget(384000, 85032.5, 200000) → 修复前 110715.5(非整数),修复后 110715;
    • (…, 99364.25, …) → 修复前 95666.75,修复后 95666;
      两条与生产日志逐条对上。回归测试把这两个值钉死;revert 掉修复后这两条用例变红、恢复后转绿(断言有牙)。定向跑 issue2011 + issue453-backstop + side-request-isolation = 35 通过 / 0 失败。

    结构化七问:

    1. 是什么问题:0.1.181 起 proxy 把小数写进请求体 max_tokens,严格校验的 OpenAI 兼容上游直接拒收(400 max_tokens: Input should be a valid integer / 422 Endpoint is unavailable.),整个 agent turn 挂掉。

    2. 什么原因导致的:分两层。表面是 clamp 出的 cap 带小数;根因是 inputEstimate 从 0.1.181 起会带小数——Bill images and text separately — the image estimate's ±15× error bar poisons every window decision (dual-channel accounting) #1843 双通道图像计费把像素先验值 ctx.imageTokens 加进了输入估计(clampOutgoingOutput),于是 window − inputEstimate − margin 算出小数 cap,又被 writeOutputBudget 原样写进整数类型的线上字段。(acp-kernel 两个版本都钉在 0.0.100,排除 kernel 变更;你的对照组也佐证 v≤0.1.180 全是整数。)

    3. 怎么修复的:在写出边界保证整数,而不是去改那个小数估计源(估计精度是 Bill images and text separately — the image estimate's ±15× error bar poisons every window decision (dual-channel accounting) #1843 有意为之,不该在计量层动刀):① clampOutputBudget 对 cap 取 Math.floor(让日志里的数字 == 实际写出的数字);② writeOutputBudget 作为唯一 writer 再兜一层取整(顺带护住 restore 路径和将来的调用方)。取 floor 而非 round/ceil,保证输出预算不超过精确余量(input+output ≤ window 仍成立)。

    4. 是否有回归问题:审了两处被触碰的既有行为——

      • clampOutputBudget:只有返回值多了一个 floor,整数输入完全不变;cap < FLOOR || cap >= requested 守卫现在比的是取整后的值(仅亚 token 边界受影响)。
      • writeOutputBudget:写入前加一次取整;现有所有调用方喂的都是整数(已在 side-request-isolation 全量核对),行为不变。
      • 高危模式逐项过:无 fail-fast 变吞错、无阈值/时序漂移、无输出格式变化(只是把一个本来非法的小数纠正成它声明类型要求的整数);两种压缩模式(proxy/plugin)一致生效,且只会把「原本被拒的请求」变成「被接受」,不会反向破坏任何原本成功的请求。
    5. 是否破坏缓存:不涉及。不改消息重建、不动 system/prefix、不碰任何缓存 key / 重试 / 增量游标 / 去重键;只改一个数值字段的取值(且整数值场景零变化)。

    6. 是否改了设计方向:不涉及。不转向架构/边界/数据流;只是在既有 plugin mode: no hard backstop when the agent ignores the compress nudge — context grows past the window and upstream 400s #453 溢出保护的最后一步补上「输出必须是整数」这条本就该成立的不变量。

    7. 是否引入了新的配置:不涉及。无新 env/config/CLI flag,无 schema 或持久化格式变化。

    范围说明(preflight):src/preflight.ts 的 windowClampedOutput 也往 summary 侧调用里写整数类型的 max_output_tokens,但它当前所有输入都是整数(文本走 defaultCountTokens + 整数模型窗口,summary 调用不带图),现网没有小数来源、也不在本次事故路径上——为把 diff 收敛到真正坏掉的路径而未改动,在此留一句备案。

    一处观察(非本次引入):当前 master 上 npm run typecheck 有 12 个报错,全部落在与本 PR 无关的测试文件(codex-responses-ws / issue1987-preflight-baseline-anchor / issue1993-preflight-400 / ws-bridge);我把自己的改动 stash 前后报错完全一致(12 = 12),我的文件零新增。本地 Node 是 v22.23.2(你是 v24),疑似 @types/node 版本漂移,未在本 PR 处理,供你判断是否单独跟进。

    判定:修复完整、有回归测试钉住、定向验证通过、diff 干净(3 文件,均与 #2011 相关)。可合并;按系统规则 agent 不能 merge,请你手动合并:#2012

  2. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    看是否能基于问题版本直接 checkout 一个分支加上本分支修复 提一个发布新版本的 pr 作为紧急修复 而不引入 master 最近合并的东西

  3. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    先给结论:「基于 v0.1.181 只打本修复、不带 master 最近合并的东西」这条路,现有发布流水线跑不出来 —— 卡点在 CI 机制,不在代码。

    已核实的关键事实

    技术准备度(两条路我都验过,都能干净落地)

    • 修复涉及的两个文件 src/server/budget.ts、src/server/side-request.ts 在 v0.1.181 与 master 间逐字节相同;cherry-pick 到 v0.1.181 零冲突。所以「v0.1.181 + 修复」的分支随时能建出来。
    • npm latest = 0.1.181,下一个 patch 是 0.1.182(空闲)。

    两个选项

    A(推荐):从当前 master 切 0.1.182 = master + 本修复。

    B(严格排除那 ~70 个提交):0.1.182 = v0.1.181 + 仅本修复。

    • 分支技术上就绪(上面已验证)。
    • 但现有 release.yml 发不了它(只认 master)。真要发,二选一:
      • B1:你手动从备好的分支 npm publish(文档里「CI 不可用时的兜底」)。我把分支建好、本地 typecheck+test+build 全绿后,把确切命令交给你执行。不碰任何发布基建,最稳。
      • B2:我给 release.yml 加一个「从 tag 出 hotfix」的能力(属发布基建改动,需单独立项 / 你拍板),再从 v0.1.181 切。
    • 副作用:npm latest 变成 carve-out 的 0.1.182,而 master 的 version 字段仍停在 0.1.181 → 会踩到 one-click 的 drift guard,之后还得靠 0.1.183 把那 ~70 个提交往前带。多几个活动部件。

    我的建议:除非有明确理由要扣住某几项最近的 master 变更(尤其 #1844 WS codec / #1960 thinking 重放),就选 A —— 用安全、全自动的标准路径让所有用户立刻拿到整数修复,且不引入任何尚未合入 master 的东西。你一句话我就立刻把 A 的发布 PR 备好。

    若坚持严格 carve-out,就走 B,我倾向 B1(备好并全量验证分支 + 交你 publish 命令,避免事故期动发布基建)。

    补充:底层修复已在 PR #2012(待你合并),两条路用的是同一份修复。另有一条最低风险基线:若紧急程度允许等待,直接合并 #2012、让下一个例行版本带上它即可 —— 但比专门发一个 0.1.182 慢。

    我目前没有新建任何分支/PR(只有 #2012),等你定方向。选 A 还是 B?

  4. added a commit that references this issue on Oct 3, 2026
  5. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    必须严格排除最近提交到 master 的内容只发布本修改 可以专门搞一个 bugfix ci 发布通道

  6. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    ✅ 紧急 carve-out 已发布:v0.1.182 现在就是 npm latest,且严格只含本修复。 按你的要求走了专门搞的 bugfix CI 发布通道。

    证据链(可复核)

    • npm registry:dist-tags.latest = 0.1.182,published 2026-10-03T17:14:50Z;packument 记录的 gitHead = 5a9d84ae… —— 正是本 carve-out 提交(npm 打 tag 时写入的发布 commit)。
    • tag v0.1.182 → 5a9d84ae,其祖先 = v0.1.181 + 仅 4 个 commit:fix(#2011) / ci: bugfix channel / docs(release-notes) / release v0.1.182。
    • 排除 master 最近工作:69 个 master commit 不在其中,master 不是该 tag 的祖先(git rev-list --count + merge-base --is-ancestor 双重确认)。acp-kernel 仍内联打包(运行时依赖里无 acp-kernel,符合自包含 dist)。
    • GH Release:https://github.com/ranxianglei/billion-context/releases/tag/v0.1.182
    • CI run(新通道):#37139337532 success —— 在发布前完整跑了 npm ci + typecheck + 全量 npm test + build,绿了才 publish。

    结构化七问

    1. 是什么问题:bili 0.1.181 把小数写进 max_tokens,严格整数校验的上游直接 400/422,整个 agent turn 挂掉。(本次任务本身:只发这个修复、不带 master 最近合并的东西。)
    2. 什么原因:inputEstimate 起 0.1.181 带小数(Bill images and text separately — the image estimate's ±15× error bar poisons every window decision (dual-channel accounting) #1843 把 imageTokens 加进估计值),clampOutputBudget 算出小数 cap,writeOutputBudget 原样写线上。修在发射边界取整。
    3. 怎么修的:整数 floor 修复(同 fix(#2011): floor output-budget caps so max_tokens is always an integer #2012)+ 新建 release-bugfix.yml 通道——它 checkout 并发布该 ref 自己的树(不像 release.yml 发「合并后的 master 树」),从 v0.1.181 tag 切分支、只 cherry-pick 本修复,触发后发布 0.1.182。
    4. 是否有回归:修复对整数输入逐字节不变、对小数输入把「必被拒的值」变成合法更小值,无阈值/时序/输出格式漂移,两种压缩模式一致。发布机制是纯新增:没动 release.yml / release-manual.yml / 更新器,master 未 force-push、未合并。⚠️ 唯一回归风险见下方「必须做」。
    5. 是否破坏缓存:不涉及(只改线上整数值,≤1 token 差异;发布流程不碰会话/前缀缓存)。
    6. 是否改了设计方向:新增一条发布基建 lane(从 tag 独立发 hotfix),主发布流水线不变;属增量能力,方向是「紧急隔离」。
    7. 是否引入新配置:无用户侧 config/env。新增的是一个 GitHub Actions workflow 文件(push 到 bugfix-release/** 或手动 dispatch 触发),非运行时配置。

    🔴 必须做(防止后续版本回退)

    • PR fix(#2011): floor output-budget caps so max_tokens is always an integer #2012(master 上的同一份修复)务必合并。否则 master 谱系里没有这个 fix,下一个基于 master 的版本(0.1.183)会重新引入分数 max_tokens,让已从 0.1.182 升级的用户回退。
    • 下一个 master 版本必须是 ≥ 0.1.183(不能再用 0.1.182)。one-click 的 drift guard 此刻会因「master version(0.1.181) ≠ npm latest(0.1.182)」而拦下,直到 master 前进——用标准 branch/PR 流程 bump 到 0.1.183 即可。
    • 副作用(已知且可控):companion release-notes 包还没带上 0.1.182 条目(carve-out 没合入 master,release-notes.yml 只在 master push 时发它),所以 0.1.182 用户在 acp_status 面板暂时看不到这条 note。

    收尾:我再开一个小的 follow-up PR 到 master,把 release-bugfix.yml(让这条通道成为常驻能力)+ 0.1.182 的 release-notes 条目落进 master——纯基建/文档,不改代理代码。稍后给链接。

    判定:收工/可交付——紧急修复已按「严格排除 master」的要求上线并验证;剩下的是上面那条「必须做」(合并 #2012)和 follow-up PR,需你合并。

  7. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    📎 收尾:follow-up PR 已开 —— #2015 (base=master)

    把这次紧急发布用到的两个非代码产物落到 master,让它成为常驻能力:

    1. .github/workflows/release-bugfix.yml —— 刚用来发 v0.1.182 的专用 bugfix 通道(发布某 ref 自己的树、严格排除未发布的 master 工作、带守卫 + 完整 pre-flight;从不触碰/合并 master)。字节级等同发布 v0.1.182 的那份(CI run 37139337532)。
    2. release-notes/package.json —— 补上 v0.1.182 条目,让伴随包把这条 note 发出去(carve-out 没进 master,所以 0.1.182 用户目前 acp_status 里看不到)。

    只改这 2 个文件,无代理代码、无版本 bump,与 #2012 的文件不相交(无冲突)。合并它不会重新发布任何东西。


    当前状态汇总(#2011)

    项 状态
    紧急修复 v0.1.182 ✅ 已发布 = npm latest(严格只含本修复,排除 69 个 master commit)
    PR #2012(master 上的同一份修复) ⏳ 待你合并 ← 关键:不合并则下一版会回退掉本 fix
    PR #2015(bugfix 通道 + release-note 落 master) ⏳ 待你合并

    唯一必须做的:合并 #2012。之后下一个常规版本走标准流程 bump 到 ≥ 0.1.183(one-click 此刻会被 drift guard 拦下,属预期)。两个 PR 都等你合并——agent 按规矩不能自行合并。

  8. added 2 commits that reference this issue on Oct 4, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions