Skip to content

bili dsh 原版那个 圆圈, 显示当前上下文大小的. 经常显示只有几百token #589

Closed

Description

@ranxianglei

bili dsh 原版那个 圆圈, 显示当前上下文大小的. 经常显示只有几百token

Activity

  1. ranxianglei commented on Sep 6, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · qwen3.8-27b

    [bot] 🏷 收到,正在排查 dsh 那个上下文圆圈显示的 token 数偏小的问题。先定位是代理回传的 usage 数据不对,还是 dsh 侧取数的问题,稍后给结论。

  2. ranxianglei commented on Sep 6, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · qwen3.8-27b

    [bot] 🏷 我把 dsh 源码和 bili 两侧都核了一遍,先给结论,再要一个能定位的数据点。

    这个圆圈到底显示什么(已对 dsh 源码确认)

    • 圆圈读的是 contextPressure 投影:usedTokens = projectedTokens ?? pressureTokens,占比 = usedTokens / contextWindow。
    • pressureTokens 只被「带 usage 的主对话消息」更新,取的是最近一次主请求的 prompt 侧 token 数(≈ wire 上的 prompt_tokens;output 不算,cache 会加回)。它是“最近一次”的值,不是累计值。
    • 标题生成这类辅助调用只写一条日志事件、不产生 usage,不会动这个圈。

    所以它显示的是模型此刻真正看到的上下文大小,不是你累计聊了多少 token。

    为什么经常掉到几百
    bili 在中间会重建并压缩再转发。一旦压缩发生,转发给模型的视图变小 → 模型回报的 prompt_tokens 变小 → 圈跟着掉。这本身是压缩生效的表现;但如果你 system+tools+近期尾巴不大,压完确实可能只剩几百~一两千。

    我已在本地验证了这条链路:“转发给模型多少,圈就显示多少”(主请求大→显示大;视图小→显示小),所以 bili 主链路的 usage 上报本身没问题。

    要定位是哪种,需要一个数据点
    麻烦抓一段出现“几百”时的 bili.log,重点看:

    • [acp-usage] round N input=… cached=…
    • nudge / compress 相关行

    看那个时刻 input= 是不是也小:

    • 若小、且紧跟一次 compress 之后 → 就是压缩后工作集偏小(可调压缩阈值/保留量);
    • 若不是紧跟压缩、随机出现 → 我再查你上游对 prompt_tokens 的口径(DeepSeek/sglang 有时只报未缓存增量,会让数值偏低)。

    顺带两个信息:你连的是哪个上游(DeepSeek 官方 / 本地 sglang / 其它)?掉到几百时模型还记不记得前面的内容?

    确认触发点后我就动手改;也可以先加一条按请求的结构化日志(side/main、转发消息数、发出的 prompt_tokens、cached),你跑一轮就能直接看出是哪类请求在报小值。

  3. ranxianglei commented on Sep 6, 2026

    @ranxianglei
    OwnerAuthor

    #590
    看看是不是这个问题类似的

  4. ranxianglei commented on Sep 6, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · qwen3.8-27b

    [bot] 🏷 是同一套机制,方向正好相反。

    共同点:都出在「bili 转发给模型的是折叠后视图,而回传给宿主的上下文口径由 hostCreditTokens 回填决定」这条链路(#408/#425,#591 精化)。

    方向相反:

    关键看版本:

    给我这两点就能定位:

    1. 你现在跑的版本号?

    2. 出现「几百」时抓一段 bili.log,重点找:

      • host usage backfill armed: +N tok …(出没出现、N 多大)
      • [acp-usage] … input=N

      上下文明明很大却没这行 / N≈0 → 折叠没给 dsh 产生回填(bug 就在这);回填正常但圈还是小 → dsh 侧读的是别的字段,我再往那边查。

    确认后我就动手改并开 PR。

  5. ranxianglei commented on Sep 6, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · qwen3.8-27b

    [bot] 🏷 查清楚了,而且基本可以确认:这个在 v0.1.88 已经修好,升到最新即可。

    和 #590 是同一处改动(PR #425 / issue #408)的两面:

    时间线关键:#425 是在 v0.1.87 之后才进 master,随 v0.1.88(2026-09-06 已发布,npm latest=0.1.88)上线。所以:

    我已实测验证(不只读代码):跑 tests/host-usage-backfill.test.ts,20/20 通过,其中就有 #408: prepareOpenai arms the credit — host sees backfilled usage after a compress fold(正是 dsh 走的 OpenAI 路径,断言回传 prompt_tokens 被回填到远高于折叠后的 100),以及 #590: pi … backfill suppressed。

    你要做的:

    1. npm i -g billion-context@latest(latest=0.1.88),重启 bili,再看那个圈——正常就不会再掉到几百。
    2. 若你已在 v0.1.88 仍看到几百 → 那是残留缺口(某条 dsh 请求路径没吃到回填)。把版本号 + 出现时的 bili.log(找 host usage backfill armed: +N tok 和 [acp-usage] … input=N)发我,我定位后开 PR。

    先告诉我你现在装的是哪个版本?

  6. ranxianglei commented on Sep 6, 2026

    @ranxianglei
    OwnerAuthor

    诊断结论

    不是 #590 那一类(那是 pi 侧的过量回填;这个是少报)。已定位根因并出修复:PR #593(含完整分析+复现+修复说明)。

    一句话版本:dsh 发 stream_options:{include_usage:true},SGLang 把 usage 放在收尾后的空 choices 尾帧(choices:[] + usage)里。bili 的 loop 适配器在工具调用轮走原样透传——finish 帧转发了,但尾帧被 !choice 分支解析进内部账本后直接丢弃,客户端每轮工具调用都看到 0/0。dsh 圆圈是 last-wins 压力采样,于是退化为只统计表面增量(几百 token)。你 session jsonl 里工具调用 STEPS 全是 inputTokens:0、只有 FINAL 步有真实值,与此完全吻合(FINAL 值和 bili.log [acp-usage] 逐项一致)。

    影响面:所有 include_usage 客户端(不止 dsh;官方 OpenAI SDK 同样从尾帧读 usage)。

    修复:raw 工具轮把尾帧原样回传(带 #408 credit 补丁);rebuild 轮不动(emitCompletion 已内嵌 usage,转发反而会重复/低于回填值)。本地已实测:新构建下客户端流恢复 finish → usage 帧 → [DONE]。

    Fixes #589 — 等合并。

  7. ranxianglei commented on Sep 6, 2026

    @ranxianglei
    OwnerAuthor

    🤖 ework agent · qwen3.8-27b

    [bot] 🏷 收到,先纠正我自己:上一条「升到 v0.1.88 就好」是错的。那个判断基于 hostCreditTokens 回填机制,但你的根因(工具调用轮把尾帧 usage 吞掉)v0.1.88 根本没修,必须靠 #593。抱歉带偏了。

    我独立核了代码和 PR,确认诊断成立、修复正确:

    根因:src/loop/adapter-openai.ts parseStream 里,!choice 且带 usage 的收尾帧(choices:[]+usage)原本只 yield 成内部 usage 事件进账本、从不回传;而工具调用轮的 finish 帧走 raw 透传并 suppressCompletion → 客户端每轮工具调用都拿不到 usage(0/0)。dsh 圆圈 last-wins 采样退化成只算表面增量=几百。和你 jsonl「STEPS 全 inputTokens:0、只有 FINAL 有值」逐项吻合。

    修复:抽出 patchUsageChunk 复用 #408 credit 补丁;尾帧分支加 if (sawRealToolCall) 才作为 meta 帧原样回传(带 credit),文本轮不动(emitCompletion 仍是唯一 usage 源)→ 恰好一帧、顺序 finish→usage→[DONE]、内部账本不受影响。都对。

    我实测过(pr-593 分支):typecheck 干净;新测试 issue589-usage-frame 4/4;host-usage-backfill 20/20;OpenAI loop/tool-call/finish-reason/reasoning/truncation 回归 86/86——无回归。

    LGTM,可合(合并归你,我不代合)。一个非阻塞提醒:极个别上游若同时在 finish 帧和尾帧都带 usage 会发两帧,last-wins 取最后一帧、无碍;SGLang 与官方 OpenAI 都是单处出 usage,不受影响。需要的话我可以再补一条真实 SGLang 尾帧的 e2e 兜底。

  8. added a commit that references this issue on Sep 7, 2026
    3f2248e
  9. added a commit that references this issue on Sep 7, 2026
  10. added a commit that references this issue on Sep 7, 2026
    2ed7c59
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions