Skip to content

MITM/streaming proxy: First-round text is silently discarded when an upstream chunk carries an empty tool_calls array | MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃 #3926

Closed

Description

@gunduziba

流式代理 / MITM 模式下,上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃

环境

  • billion-context v0.1.201(npm 全局安装,bili start --port 8787)
  • macOS (arm64),MITM 模式:客户端(magpie 网关)经 bili 代理访问非标上游(WorkBuddy 私有化部署,OpenAI 兼容 /v1/chat/completions,DeepSeek 系模型)
  • 以下源码行号基于当前 master(本地 checkout 0.1.118,与 v0.1.201 行为一致);若有漂移请以函数/分支逻辑为准

症状

流式请求正常完成(finish_reason=stop、[DONE]、completion_tokens 有值且与生成内容长度吻合),但客户端收不到任何文本内容——bili 合成的转发流里文本 chunk 全部缺失,只剩最终的 finish 块(delta:{})。无任何报错,完全静默。

复现:向该上游发任意纯文本提问(经 bili MITM 代理),ACP_DUMP_SSE 抓上游原始流,对比 bili 转发流。

上游形态(证据)

该上游每个流式 chunk 的 delta 都携带空数组 tool_calls(标准 OpenAI 该字段为 null 或不出现):

# ACP_DUMP_SSE 抓到的上游原始流(/tmp/bili-dump/*-raw.sse)
data: {"choices":[{"delta":{"role":"assistant","content":"","reasoning_content":"","function_call":null,"refusal":"","tool_calls":[],"extra_fields":null},...}]}
data: {"choices":[{"delta":{"content":"9","reasoning_content":"","function_call":null,"refusal":"","tool_calls":[],"extra_fields":null},...}]}
data: {"choices":[{"delta":{"content":"+","reasoning_content":"","function_call":null,"refusal":"","tool_calls":[],"extra_fields":null},...}]}

根因链(三步)

  1. adapter 误判工具轮:src/loop/adapter-openai.ts:434

    if (delta.tool_calls) {   // 空数组 [] 是 truthy → 每个 chunk 都被当作工具调用轮

    进入该分支后,443 行 yield 的 text 事件不带 raw:yield { kind: "text", delta: clean };而正常文本分支(455 行附近)会携带原始字节 raw。

  2. core 吞掉 round-1 文本:src/loop/core.ts:291 附近

    if (ev.kind === "text") {
      assistantText += ev.delta;
      if (!ctx.textProtocol && ev.raw) {
        yield fwd(ev.raw, true);                     // 有 raw → 立即转发
      } else if (!ctx.textProtocol && round > 1 && ev.delta.length > 0) {
        yield fwd(adapter.emitText(ev.delta), true); // 第 2 轮起才重建转发
      }
      // round === 1 且无 raw → 什么都不转发:文本只累积进内存,永不输出
    }
  3. 标准上游第一轮纯文本 chunk 不带 tool_calls → 走正常分支带 raw → 透传;而本例空数组把所有 chunk 打进"无 raw"路径,round=1 时两个转发分支都不命中,第一轮全部生成文本被静默丢弃——正是观察到的空 content。

影响

  • 所有"chunk 携带空 tool_calls 数组"的非标上游(本例 WorkBuddy,推测还有其他 OpenAI 兼容网关)在MITM / 流式代理路径下第一轮文本全丢。
  • 完全静默:finish_reason/usage 正常,客户端与用户均无感知,仅表现为"模型答了但内容为空"。
  • 工具轮(round≥2 或真有 tool_calls 的流)不受此分支影响,因此常规测试(OpenAI/Anthropic 标准上游)覆盖不到。

修复建议

adapter-openai.ts:434 对空数组不做工具轮处理:

if (delta.tool_calls && (delta.tool_calls as unknown[]).length > 0) {

空数组 chunk 落回正常文本分支(带 raw 透传),round-1 文本恢复。

已验证的 Workaround

上游前加一层规范化代理(本例 CLIProxyAPI),剥掉 tool_calls 空字段后 bili 前缀模式转发,内容完整恢复(每个文本 chunk 均正常透传)。这同时印证了根因判断:变量只有 tool_calls 字段的有无。

Activity

  1. changed the title [-]MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃[/-] [+]MITM/streaming proxy: First-round text is silently discarded when an upstream chunk carries an empty `tool_calls` array | MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃[/+] on Oct 20, 2026
  2. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    **查重:不重复。**按「空 tool_calls 数组 / 流式文本丢失 / round-1 raw」检索 open+closed issue,无同症状或同机制条目。最接近的 #1881/#1882(proxy-only 工具帧的兄弟文本在 settle 时投递)机制不同:那条兜底要求 pending 非空,而空数组不吸收进任何 pending,兜底在这里不会触发——详见下。

    标签:bug + scope/wiring + p1 —— OpenAI wire 流式中继层缺陷;受影响上游的用户每轮都拿到空回复(= 不能用,且完全静默)。客户端标签未打:报告方客户端是 magpie 网关,不属于现有客户端标签,不猜。

    审核结论(master 与 v0.1.201 逐行核对;两个版本这两处代码一致): 三步根因链成立,是真缺陷:

    1. src/loop/adapter-openai.ts:524 —— delta.tool_calls = [] 是 truthy → 每个帧被归入工具帧分支,yield 的 text 事件不带 raw(正常文本分支带);
    2. src/loop/core.ts:740-744 —— round-1 无 raw 的 text 事件两个转发分支都不命中(有 raw → 透传;round ≥ 2 才重建转发)→ 文本只累积进内存;
    3. src/loop/adapter-openai.ts:378 —— settleToolCalls 在 pending.size === 0 时直接 return;空数组不吸收任何东西,所以 [bug] ACP 标签泄漏:<acp tokens=...> 标签被模型原样复述到回复正文,仅靠系统提示劝阻不足 #1881/fix: harden ACP render-tag stripping; keep NEVER-echo prohibition when injectTool is off (#1881) #1882 的「settle 时投递被扣留 prose」兜底也永远不会触发。

    净效果:第一轮全部生成文本只存在于内部累加器,到不了客户端;finish_reason/usage 走独立路径所以看起来完全健康——与你观察到的现象吻合,也解释了为什么标准上游(不发空数组)触发不到、常规测试覆盖不到。

    方案评估: 同意你的修复方向——空数组不携带任何工具调用信息,应落回正常文本分支(带 raw 透传)。修复点略调整:在 adapter-openai.ts:524 单点归一化(空数组视为字段不存在),一处改动同时覆盖两处下游判断(525 的 absorb 与 584 的分支选择);core.ts 不需要动——修复后「rawToolChunks 非空但 pending 为空」的状态不可能出现(非空数组必然创建 pending 条目)。

    接下来:加回归测试(WorkBuddy 形态 SSE 流:每个 chunk 携带 tool_calls:[],断言 round-1 文本到达客户端且恰好一次;负例钉住真实工具调用帧不受影响),本地定向测试后开 PR。你已验证的 CLIProxyAPI workaround 与根因判断互相印证——变量只有 tool_calls 字段有无,正确。

  3. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    **修复完成,PR:https://github.com/ranyianglei/billion-context/pull/3954**(Closes #3926)

    分支 2026-10-20_empty-tool-calls-text-loss(基于最新 master 1cec7ad),单提交:src/loop/adapter-openai.ts 归一化 + 新回归套件 tests/issue3926-empty-tool-calls.test.ts。

    结构化八问:

    1. 是什么问题:每个流式 chunk 都带空 tool_calls: [] 的上游网关(本例 WorkBuddy),会让模型第一轮生成的全部文本被静默丢弃——无报错、finish_reason/usage 全正常,客户端只收到空回复。
    2. 什么原因导致的:空数组是 truthy,每个帧被误判为「工具调用帧」。该分支的 text 事件不带原始字节;core 侧第一轮只在有原始字节时才转发(第二轮起才能重建);而空数组不吸收任何工具调用片段,帧结束时的「投递被扣留文本」兜底又因 pending 为空直接返回。三层叠加,文本只累积在内存、永不输出。
    3. 影响范围与严重程度:所有发空 tool_calls 数组的非标 OpenAI 兼容上游,在 MITM/流式代理路径下每轮都拿到空回复——完全不能用且完全静默。真实工具轮与标准上游(字段缺失/null)不受影响。p1。
    4. 怎么修复的:在 adapter 分类点单点归一化——空(或非数组)的 tool_calls 视为字段不存在,此类帧落回正常文本路径(原始字节透传)。非空数组走原工具帧路径,字节级不变;core 无需改动(修复后「缓冲了工具帧但 pending 为空」的状态不可能出现)。
    5. 是否有回归问题:逐项过既有行为——真实工具调用透传、参数逐字节保真([bug] 插件透传会剥掉工具调用参数里的 render tag(arguments 流挂了 tag-echo 过滤器) #1039)、跨 delta 名称拼接、proxy-only 兄弟文本投递([bug] ACP 标签泄漏:<acp tokens=...> 标签被模型原样复述到回复正文,仅靠系统提示劝阻不足 #1881/fix: harden ACP render-tag stripping; keep NEVER-echo prohibition when injectTool is off (#1881) #1882)、finish_reason 重映射等全部有既有测试钉住;定向套件 38/38 绿(含新增 3 个),typecheck + build 干净。新测试已验证在未修复代码上失败(adapter 级与 loop 级各一)、修复后通过——是真回归测试不是恒真断言。全量判定以 CI 为准。
    6. 是否破坏缓存:不涉及——只改单请求内流块分类,不触碰会话状态、缓存键、重试游标。
    7. 是否改了设计方向:没有。既有「文本路径 / 工具帧路径」双分支结构内的缺陷修复,无新机制。
    8. 是否引入新配置:无。

    行为变更披露(旧值→新值):

    • 发 tool_calls: [] 的上游:第一轮文本从「静默丢弃」→「完整流式到达客户端」(本修复目的);标准上游无任何变化。
    • 顺带加固:若 tool_calls 出现非数组的畸形值,原来会在流解析器内部抛异常中断流,现在回退到文本路径(严格更健壮)。

    合并判定:PR 可审可合(CI 绿后),按规矩合并按钮在你手里。你已验证的 CLIProxyAPI workaround 在本修复后可以撤掉。

  4. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    更正:上一条回复里的 PR 链接打错了一个字母,正确地址是 #3954 (其余内容不变,抱歉)。

  5. ranxianglei commented on Oct 20, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    CI 全绿:PR #3954(commit d2e5321)全部检查通过(16 项通过 + 14 项按平台跳过,0 失败),含 ubuntu/windows × node 22/24 的 test 分片与 kernel-guard / version-guard / lock-sync 等门禁。PR 随时可合:#3954

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions