Skip to content

[Bug] Anthropic plugin passthrough 漏计最终 usage 中的缓存 token,导致上下文大小异常下降 #790

Closed

Description

@kuviki

版本:billion-context 0.1.111

使用插件模式,调用 /v1/messages。日志中消息数量持续增长,但输入 token 从 56040 突然降到 344,后续长期只有几百,且一直显示 cached=0,影响压缩触发判断。

定位到 src/plugin.ts:

  • message_start 读取 input_tokens 和 cache_read_input_tokens。
  • message_delta 只读取普通输入和输出,忽略 cache_read_input_tokens。
  • 流式和非流式插件路径均未将 cache_creation_input_tokens 计入总输入。

最小复现

上游先返回全零的 message_start.message.usage,然后在 message_delta.usage 返回:

{
  "input_tokens": 344,
  "cache_read_input_tokens": 53696,
  "cache_creation_input_tokens": 2000,
  "output_tokens": 5
}

这组数值是构造的复现数据,并非日志中捕获的原始 usage。

实际统计:input=344 cached=0
预期统计:input=56040 cached=53696

建议修复

同时解析起始和后续 usage 的三个输入字段,按字段更新累计快照,最终计算:

total input = input_tokens
            + cache_read_input_tokens
            + cache_creation_input_tokens

省略的字段保留已有值,重复快照不能累加;缓存写入不能算作缓存命中。非流式 JSON 路径也需要补上缓存写入统计。

Activity

  1. changed the title [-]Anthropic plugin passthrough 漏计最终 usage 中的缓存 token,导致上下文大小异常下降[/-] [+][bug] Anthropic plugin passthrough 漏计最终 usage 中的缓存 token,导致上下文大小异常下降[/+] on Sep 15, 2026
  2. changed the title [-][bug] Anthropic plugin passthrough 漏计最终 usage 中的缓存 token,导致上下文大小异常下降[/-] [+][Bug] Anthropic plugin passthrough 漏计最终 usage 中的缓存 token,导致上下文大小异常下降[/+] on Sep 15, 2026
  3. ranxianglei commented on Sep 15, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 Bug 确认并已修复,见 PR #791。

    验证(复现)

    • 用 issue 中的最小复现数据(全零 message_start + message_delta {input_tokens:344, cache_read_input_tokens:53696, cache_creation_input_tokens:2000})对 v0.1.111 代码回放:实测 [acp-usage] input=344 cached=0 (cache hit 0%),与日志现象完全一致;
    • 修复后:input=56040 cached=53696 (cache hit 96%),与预期统计一致。

    根因分层(你的定位正确,另有一层)

    1. 解析层:usageFromSseEvent 的 message_delta 分支确实丢弃两个缓存字段;message_start 分支也漏了 cache_creation_input_tokens;
    2. 计算层:即使解析到了,promptInputTotal 根本没有"缓存写入段"的概念——总输入始终只算 fresh + read。这一层是"缓存写入不计入总输入"在流式与非流式路径同时生效的原因;
    3. proxy 模式同类缺陷:compress-loop 路径(src/loop/adapter-anthropic.ts + recordUsage)同样不解析、不计入缓存写入 token——同一根因的另一种压缩模式表现,按仓库规范(wire 相关改动须同时覆盖两种模式)在同一 PR 修复。proxy 侧非流式 JSON 原本就通过 usageTotals 把三段相加,无需改动。

    实现方案(采纳你的建议)

    • 起始与后续 usage 均解析三个输入字段,按字段更新累计快照:省略字段保留原值,重复快照覆盖而不累加;
    • total input = input_tokens + cache_read_input_tokens + cache_creation_input_tokens(仅在 split 语义下相加;OpenAI/Responses wire 本身报总数,不会重复计入);
    • 缓存写入只计上下文大小、不计命中率(cachedTokens 仍只等于 read);
    • 既有 relay 零值回显防护扩展到缓存字段:message_delta 里的 0 不会覆盖 message_start 的真实值;反之 message_start 的 input_tokens:0 是合法值(全命中轮次),必须记录;
    • 非流式 JSON 路径补上缓存写入解析。

    测试与预检

    • 新增 8 个回归测试(含最小复现场景、重复快照不累加、零值回显不覆盖、全命中轮次、plugin 与 loop 双路径);
    • typecheck ✓ · 全量测试 1520 通过 ✓ · build ✓;
    • 转发字节保持逐字节一致(纯嗅探记账,单测已断言 verbatim 转发);e2e-codex 套件因沙箱网络边界无法探测其本地上游而未运行,已在 PR body 说明。

    PR: #791

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions