bili dsh 原版那个 圆圈, 显示当前上下文大小的. 经常显示只有几百token
Activity
ranxianglei commentedon Sep 6, 2026
[bot] 🏷 收到,正在排查 dsh 那个上下文圆圈显示的 token 数偏小的问题。先定位是代理回传的 usage 数据不对,还是 dsh 侧取数的问题,稍后给结论。
ranxianglei commentedon Sep 6, 2026
[bot] 🏷 我把 dsh 源码和 bili 两侧都核了一遍,先给结论,再要一个能定位的数据点。
这个圆圈到底显示什么(已对 dsh 源码确认)
contextPressure投影:usedTokens = projectedTokens ?? pressureTokens,占比 =usedTokens / contextWindow。pressureTokens只被「带 usage 的主对话消息」更新,取的是最近一次主请求的 prompt 侧 token 数(≈ wire 上的prompt_tokens;output 不算,cache 会加回)。它是“最近一次”的值,不是累计值。所以它显示的是模型此刻真正看到的上下文大小,不是你累计聊了多少 token。
为什么经常掉到几百
bili 在中间会重建并压缩再转发。一旦压缩发生,转发给模型的视图变小 → 模型回报的
prompt_tokens变小 → 圈跟着掉。这本身是压缩生效的表现;但如果你 system+tools+近期尾巴不大,压完确实可能只剩几百~一两千。我已在本地验证了这条链路:“转发给模型多少,圈就显示多少”(主请求大→显示大;视图小→显示小),所以 bili 主链路的 usage 上报本身没问题。
要定位是哪种,需要一个数据点
麻烦抓一段出现“几百”时的
bili.log,重点看:[acp-usage] round N input=… cached=…看那个时刻
input=是不是也小:prompt_tokens的口径(DeepSeek/sglang 有时只报未缓存增量,会让数值偏低)。顺带两个信息:你连的是哪个上游(DeepSeek 官方 / 本地 sglang / 其它)?掉到几百时模型还记不记得前面的内容?
确认触发点后我就动手改;也可以先加一条按请求的结构化日志(side/main、转发消息数、发出的 prompt_tokens、cached),你跑一轮就能直接看出是哪类请求在报小值。
ranxianglei commentedon Sep 6, 2026
#590
看看是不是这个问题类似的
ranxianglei commentedon Sep 6, 2026
[bot] 🏷 是同一套机制,方向正好相反。
共同点:都出在「bili 转发给模型的是折叠后视图,而回传给宿主的上下文口径由
hostCreditTokens回填决定」这条链路(#408/#425,#591 精化)。方向相反:
x-bili-plugin)本应被回填成未压缩基线——当前代码里只有pluginAgent === "pi"被排除(src/server.tsarmHostUsageCredit,非流式走backfillHostUsage)。所以理论上 dsh 该显示接近你累计上下文的值,而不是几百。关键看版本:
给我这两点就能定位:
你现在跑的版本号?
出现「几百」时抓一段
bili.log,重点找:host usage backfill armed: +N tok …(出没出现、N 多大)[acp-usage] … input=N上下文明明很大却没这行 / N≈0 → 折叠没给 dsh 产生回填(bug 就在这);回填正常但圈还是小 → dsh 侧读的是别的字段,我再往那边查。
确认后我就动手改并开 PR。
ranxianglei commentedon Sep 6, 2026
[bot] 🏷 查清楚了,而且基本可以确认:这个在 v0.1.88 已经修好,升到最新即可。
和 #590 是同一处改动(PR #425 / issue #408)的两面:
hostCreditTokens回填)。这恰好修掉你的 dsh:≤v0.1.87 时 dsh 拿到的是折叠后的原始值(所以几百)。时间线关键:#425 是在 v0.1.87 之后才进 master,随 v0.1.88(2026-09-06 已发布,npm latest=0.1.88)上线。所以:
我已实测验证(不只读代码):跑
tests/host-usage-backfill.test.ts,20/20 通过,其中就有#408: prepareOpenai arms the credit — host sees backfilled usage after a compress fold(正是 dsh 走的 OpenAI 路径,断言回传 prompt_tokens 被回填到远高于折叠后的 100),以及#590: pi … backfill suppressed。你要做的:
npm i -g billion-context@latest(latest=0.1.88),重启 bili,再看那个圈——正常就不会再掉到几百。bili.log(找host usage backfill armed: +N tok和[acp-usage] … input=N)发我,我定位后开 PR。先告诉我你现在装的是哪个版本?
ranxianglei commentedon Sep 6, 2026
诊断结论
不是 #590 那一类(那是 pi 侧的过量回填;这个是少报)。已定位根因并出修复:PR #593(含完整分析+复现+修复说明)。
一句话版本:dsh 发
stream_options:{include_usage:true},SGLang 把 usage 放在收尾后的空 choices 尾帧(choices:[]+usage)里。bili 的 loop 适配器在工具调用轮走原样透传——finish 帧转发了,但尾帧被!choice分支解析进内部账本后直接丢弃,客户端每轮工具调用都看到 0/0。dsh 圆圈是 last-wins 压力采样,于是退化为只统计表面增量(几百 token)。你 session jsonl 里工具调用 STEPS 全是inputTokens:0、只有 FINAL 步有真实值,与此完全吻合(FINAL 值和 bili.log [acp-usage] 逐项一致)。影响面:所有 include_usage 客户端(不止 dsh;官方 OpenAI SDK 同样从尾帧读 usage)。
修复:raw 工具轮把尾帧原样回传(带 #408 credit 补丁);rebuild 轮不动(emitCompletion 已内嵌 usage,转发反而会重复/低于回填值)。本地已实测:新构建下客户端流恢复
finish → usage 帧 → [DONE]。Fixes #589 — 等合并。
ranxianglei commentedon Sep 6, 2026
[bot] 🏷 收到,先纠正我自己:上一条「升到 v0.1.88 就好」是错的。那个判断基于
hostCreditTokens回填机制,但你的根因(工具调用轮把尾帧 usage 吞掉)v0.1.88 根本没修,必须靠 #593。抱歉带偏了。我独立核了代码和 PR,确认诊断成立、修复正确:
根因:
src/loop/adapter-openai.tsparseStream 里,!choice且带usage的收尾帧(choices:[]+usage)原本只 yield 成内部usage事件进账本、从不回传;而工具调用轮的 finish 帧走 raw 透传并suppressCompletion→ 客户端每轮工具调用都拿不到 usage(0/0)。dsh 圆圈 last-wins 采样退化成只算表面增量=几百。和你 jsonl「STEPS 全inputTokens:0、只有 FINAL 有值」逐项吻合。修复:抽出
patchUsageChunk复用 #408 credit 补丁;尾帧分支加if (sawRealToolCall)才作为 meta 帧原样回传(带 credit),文本轮不动(emitCompletion 仍是唯一 usage 源)→ 恰好一帧、顺序 finish→usage→[DONE]、内部账本不受影响。都对。我实测过(pr-593 分支):typecheck 干净;新测试
issue589-usage-frame4/4;host-usage-backfill20/20;OpenAI loop/tool-call/finish-reason/reasoning/truncation 回归 86/86——无回归。LGTM,可合(合并归你,我不代合)。一个非阻塞提醒:极个别上游若同时在 finish 帧和尾帧都带 usage 会发两帧,last-wins 取最后一帧、无碍;SGLang 与官方 OpenAI 都是单处出 usage,不受影响。需要的话我可以再补一条真实 SGLang 尾帧的 e2e 兜底。
Merge pull request #593 from ranxianglei/2026-09-07_openai-usage-frame
Merge branch '2026-09-07_wire-kernel-absorb' (PR #615) — resolve conf…
fix ranxianglei#589: forward trailing usage-only frame on raw tool-ca…