Skip to content

修复:流式 message_start 的 input_tokens 恒为 0(issue #1) - #3

Open
xrj-dsh-agent wants to merge 1 commit into
mainfrom
agent/fix-stream-input-tokens-25f0bbeabb87
Open

xrj-dsh-agent wants to merge 1 commit into
mainfrom
agent/fix-stream-input-tokens-25f0bbeabb87

Conversation

@xrj-dsh-agent

@xrj-dsh-agent xrj-dsh-agent commented Nov 3, 2026 •

Copy link
Copy Markdown
Collaborator

This is by an automated agent, not a human.

修了什么

流式 /v1/messages 的 message_start 以前把 usage.input_tokens 恒发 0,客户端(Claude Code / Claude Desktop / Hermes)拿不到输入锚点,/context 退回本地估算、把每轮输入逐轮累加(issue #1:2.6M / 1M)。本次让首帧带上请求体估算值,收尾的 message_delta 仍报上游计费的真值。

为什么首帧拿不到精确值

先查了本仓库流式管线的 token 来源:requests.prompt_tokens 只来自上游 usage(core::upstream::usage::report_usage),而真实 usage 只出现在最后一帧:

  • OpenAI 兼容上游:stream_options.include_usage 的收尾帧(空 choices);
  • Anthropic 系上游:它自己的 message_start 也只有 input_tokens: 0 占位,真值在收尾前的 message_delta(见 anthropic_outbound::ChatFromAnthropicStream::absorb_usage)。

网关没有上游分词器,六家上游也都不提供 tokenizer 接口(/v1/messages/count_tokens 一直是本地估算)。所以首帧只能给量级正确的估算,真实值由 message_delta 校正 —— 这也是上游 issue 建议的修法。

改动

  • 新增 core/protocol/estimate:CJK ≈ 1.5 字符/token、其余 ≈ 4 字符/token;内联 base64 图片按一张图固定值(否则一张截图会按字符数算成几万 token)。
  • AnthropicStream::new 接收估算值:message_start 用估算(首帧已带上游 usage 时用真值);message_delta 用上游真值,上游整轮没报输入时沿用估算 —— 客户端会把 message_delta 的 usage 按字段合并进最终消息,收尾再发 0 等于把锚点覆盖回去。
  • message_start 的 usage 始终带 cache_read_input_tokens(缺键与 0 在部分客户端里表现不同 —— 上游 issue [Bug] /v1/messages 流式 message_start 缺 cache_read_input_tokens,message_delta 只回 output_tokens(Hermes 缓存率恒 0) aimod-cc/Agent2API#424 的同一形态问题)。
  • /v1/messages/count_tokens 与流式首帧共用同一估算器:同一个请求在 context 预算与消息 usage 上读数一致。
  • 非流式聚合路径不变(AnthropicCollector 仍只用上游真实 usage)。

SSE 帧对照(同一段上游 Chat SSE)

请求 fixture:Claude Code 风格(system + tools + 工具结果),估算值 896;上游 Chat SSE 在收尾帧报 prompt_tokens: 1412。

改前(本 PR 改动前的代码;3239d12f 与当前 main 在这几处一致):

event: message_start
data: {"message":{"content":[],"id":"chatcmpl-9","model":"sn-deepseek-v4-1-flash-1017","role":"assistant","stop_reason":null,"stop_sequence":null,"type":"message","usage":{"input_tokens":0,"output_tokens":0}},"type":"message_start"}

event: message_delta
data: {"delta":{"stop_reason":"end_turn","stop_sequence":null},"type":"message_delta","usage":{"cache_read_input_tokens":0,"input_tokens":1412,"output_tokens":56}}

改后(本 PR):

event: message_start
data: {"message":{"content":[],"id":"chatcmpl-9","model":"sn-deepseek-v4-1-flash-1017","role":"assistant","stop_reason":null,"stop_sequence":null,"type":"message","usage":{"cache_read_input_tokens":0,"input_tokens":896,"output_tokens":0}},"type":"message_start"}

event: message_delta
data: {"delta":{"stop_reason":"end_turn","stop_sequence":null},"type":"message_delta","usage":{"cache_read_input_tokens":0,"input_tokens":1412,"output_tokens":56}}

验证

  • CI(head f9956c9a):artifacts passed、后端测试(agent2api-server) passed(cargo test -p agent2api-server,306 条 lib 用例 + 9 条新增集成用例)。
  • 本地同一命令全绿;新用例覆盖:首帧带估算、output_tokens 为 0、cache_read_input_tokens 有键;首帧已带上游 usage 时用真值(400 + 缓存 100,Anthropic 口径 input_tokens 不含缓存);上游整轮没报 usage 时收尾沿用估算、不回落 0;非流式聚合仍报上游真值(行为未变);估算器 5 条口径用例(ASCII ≈ 4 字符/token、CJK ≈ 1.5、20 万字符 base64 图片不被放大、空请求下限 1、随内容增长)。
  • 手动复现:curl -N 请求 /v1/messages(stream: true),首帧 message_start 的 usage.input_tokens 不再是 0,末帧 message_delta 是上游读数。

已知限制

  • 估算不是计费值:请求统计/报表仍只记上游 usage,估算只用于首帧协议字段。
  • 估算按量级控制(用例 fixture 里 896 vs 上游 1412),不承诺与 prompt_tokens 逐 token 对齐。
  • 未改 Responses 入口(response.created 的 usage 口径另论),避免扩大改动面。
  • 分支基线已更新到当前 main(5122890),以运行仓库的 server-tests 闸;本 PR 涉及的 6 个文件在 main 上自 3239d12 起没有变动,改动内容与原始基线一致。

关联 issue #1。

🤖 本条回复由 AI Agent 生成

- 新增 core/protocol/estimate:按 CJK 约 1.5 字符/token、其余约 4 字符/token
  估算请求体输入量;内联图片按一张图固定值,避免 base64 长度把估算放大几十倍
- AnthropicStream 的 message_start 带估算值兜底(首帧已带上游 usage 时用真值),
  收尾 message_delta 仍报上游计费的真值;上游整轮没报输入时收尾沿用估算值,
  避免客户端按字段合并时把首帧锚点覆盖回 0
- message_start 的 usage 始终带 cache_read_input_tokens(缺键与 0 在部分客户端里
  表现不同,上游 issue aimod-cc#424 的同一形态)
- /v1/messages/count_tokens 与流式首帧共用同一估算器,上下文预算与消息 usage 同源
- 非流式聚合路径不变:Collector 仍只取上游真实 usage
- 新增集成测试 server/tests/anthropic_message_start.rs(9 条用例):首帧估算、
  首帧带 usage、上游无 usage、非流式不变、估算器口径
@xrj-dsh-agent
xrj-dsh-agent force-pushed the agent/fix-stream-input-tokens-25f0bbeabb87 branch from 7dde8d2 to f9956c9 Compare November 3, 2026 15:16
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants