You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
MITM/streaming proxy: First-round text is silently discarded when an upstream chunk carries an empty tool_calls array | MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃 #3926
changed the title [-]MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃[/-][+]MITM/streaming proxy: First-round text is silently discarded when an upstream chunk carries an empty `tool_calls` array | MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃[/+]on Oct 20, 2026
Activity
[-]MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃[/-][+]MITM/streaming proxy: First-round text is silently discarded when an upstream chunk carries an empty `tool_calls` array | MITM/流式代理: 上游 chunk 携带空 tool_calls 数组时第一轮文本被静默丢弃[/+]ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
**查重:不重复。**按「空 tool_calls 数组 / 流式文本丢失 / round-1 raw」检索 open+closed issue,无同症状或同机制条目。最接近的 #1881/#1882(proxy-only 工具帧的兄弟文本在 settle 时投递)机制不同:那条兜底要求 pending 非空,而空数组不吸收进任何 pending,兜底在这里不会触发——详见下。
标签:bug + scope/wiring + p1 —— OpenAI wire 流式中继层缺陷;受影响上游的用户每轮都拿到空回复(= 不能用,且完全静默)。客户端标签未打:报告方客户端是 magpie 网关,不属于现有客户端标签,不猜。
审核结论(master 与 v0.1.201 逐行核对;两个版本这两处代码一致): 三步根因链成立,是真缺陷:
src/loop/adapter-openai.ts:524——delta.tool_calls = []是 truthy → 每个帧被归入工具帧分支,yield 的 text 事件不带 raw(正常文本分支带);src/loop/core.ts:740-744—— round-1 无 raw 的 text 事件两个转发分支都不命中(有 raw → 透传;round ≥ 2 才重建转发)→ 文本只累积进内存;src/loop/adapter-openai.ts:378——settleToolCalls在pending.size === 0时直接 return;空数组不吸收任何东西,所以 [bug] ACP 标签泄漏:<acp tokens=...> 标签被模型原样复述到回复正文,仅靠系统提示劝阻不足 #1881/fix: harden ACP render-tag stripping; keep NEVER-echo prohibition when injectTool is off (#1881) #1882 的「settle 时投递被扣留 prose」兜底也永远不会触发。净效果:第一轮全部生成文本只存在于内部累加器,到不了客户端;finish_reason/usage 走独立路径所以看起来完全健康——与你观察到的现象吻合,也解释了为什么标准上游(不发空数组)触发不到、常规测试覆盖不到。
方案评估: 同意你的修复方向——空数组不携带任何工具调用信息,应落回正常文本分支(带 raw 透传)。修复点略调整:在
adapter-openai.ts:524单点归一化(空数组视为字段不存在),一处改动同时覆盖两处下游判断(525 的 absorb 与 584 的分支选择);core.ts 不需要动——修复后「rawToolChunks 非空但 pending 为空」的状态不可能出现(非空数组必然创建 pending 条目)。接下来:加回归测试(WorkBuddy 形态 SSE 流:每个 chunk 携带
tool_calls:[],断言 round-1 文本到达客户端且恰好一次;负例钉住真实工具调用帧不受影响),本地定向测试后开 PR。你已验证的 CLIProxyAPI workaround 与根因判断互相印证——变量只有tool_calls字段有无,正确。ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
**修复完成,PR:https://github.com/ranyianglei/billion-context/pull/3954**(Closes #3926)
分支
2026-10-20_empty-tool-calls-text-loss(基于最新 master 1cec7ad),单提交:src/loop/adapter-openai.ts归一化 + 新回归套件tests/issue3926-empty-tool-calls.test.ts。结构化八问:
tool_calls: []的上游网关(本例 WorkBuddy),会让模型第一轮生成的全部文本被静默丢弃——无报错、finish_reason/usage 全正常,客户端只收到空回复。tool_calls数组的非标 OpenAI 兼容上游,在 MITM/流式代理路径下每轮都拿到空回复——完全不能用且完全静默。真实工具轮与标准上游(字段缺失/null)不受影响。p1。tool_calls视为字段不存在,此类帧落回正常文本路径(原始字节透传)。非空数组走原工具帧路径,字节级不变;core 无需改动(修复后「缓冲了工具帧但 pending 为空」的状态不可能出现)。行为变更披露(旧值→新值):
tool_calls: []的上游:第一轮文本从「静默丢弃」→「完整流式到达客户端」(本修复目的);标准上游无任何变化。tool_calls出现非数组的畸形值,原来会在流解析器内部抛异常中断流,现在回退到文本路径(严格更健壮)。合并判定:PR 可审可合(CI 绿后),按规矩合并按钮在你手里。你已验证的 CLIProxyAPI workaround 在本修复后可以撤掉。
ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
更正:上一条回复里的 PR 链接打错了一个字母,正确地址是 #3954 (其余内容不变,抱歉)。
ranxianglei commentedon Oct 20, 2026
(ai: vllm-qwen/qwen3.8-27b)
CI 全绿:PR #3954(commit d2e5321)全部检查通过(16 项通过 + 14 项按平台跳过,0 失败),含 ubuntu/windows × node 22/24 的 test 分片与 kernel-guard / version-guard / lock-sync 等门禁。PR 随时可合:#3954
fix: openai adapter treats empty tool_calls array as absent (ranxiang…