Skip to content

老是报 stream 提前终端,用的 pi #2154

Closed

Description

@cherish-ltt

在 pi 中使用,老是报错:

Image

关闭 billion-context 就没这个错误了

Activity

  1. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    收到,先说结论方向:截图里这句 upstream stream ended before a completion event; this turn may be incomplete 是 billion-context 自己发出的信号(#721 的带内截断提示),意思是:代理看到上游模型的流在没有收到结束事件(stop_reason / message_stop)之前就断了。pi 只是把这个错误显示出来,关掉 bili 后请求不经过代理,自然就没有这条提示——但这也说明断流很可能发生在「bili → 上游」这一段,需要日志确认到底是谁切的。

    为了定位,麻烦提供以下信息:

    1. 使用方式:是 bili pi 启动器、bili plugin install pi 装的 native 插件、还是 /bili/ 前缀直连?
    2. bili 版本:bili --version
    3. 上游 provider / 模型:走的是哪家 relay / endpoint?模型名是什么?(不用贴 key)
    4. 出现规律:每一轮都报?还是长思考 / 长输出后才出现?大概多久一次?
    5. 日志片段(最关键):
      grep -nE "upstream stream truncated|upstream stream read failed|watchdog|degenerate" ~/.local/state/billion-context/bili.log | tail -30
      再把命中的行号前后各 20 行贴出来(sed -n 'X,Yp' ~/.local/state/billion-context/bili.log)。

    其中第 5 条能直接区分两种情况:流被干净地 EOF(上游主动断开,多为 relay/网关侧问题)还是读取时连接失败(传输层重置,多为网络/代理超时问题),两者的修法完全不同。拿到日志我就能继续往下查。

  2. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    补充一条自查(不用等回复,现在就能做):

    先确认 pi 里实际跑的是哪个版本的 bili。pi 的 native 插件是用自己目录里的代码起代理的,可能和全局 bili --version 不一致:

    grep "acp-proxy v" ~/.local/state/billion-context/bili.log | tail -5

    这一行是每次代理启动时打印的版本。如果版本低于 v0.1.173,先升级再观察——这个错误家族有两个已知历史 bug 都已修复:

    升级方式(pi 托管的副本走 pi 自己的通道):

    pi update --extension npm:billion-context
    # 然后完全退出并重启 pi(旧进程加载的还是旧代码)

    如果日志里有 [update] pi npm copy refresh ... failed 或 leaving the pi copy alone 字样,说明自动刷新没跑成,把这几行也贴出来。

    如果版本已经是最新(≥ v0.1.173)还频繁出现,那就不是这两个历史 bug,需要靠上一条消息里的日志片段来区分是「relay 侧主动断流」还是「传输层重置」,麻烦把 grep 结果发我。

  3. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    本地复现,个人认为大概率是bili导致的而不是上游

  4. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    收到,本地能复现就快了。麻烦同步几个复现细节,我好对着代码定位:

    1. 复现方式:哪条通道(bili pi / native 插件 / /bili/ 前缀)?上游用的什么(真实 relay + 模型名,还是本地 fake/mock)?大概多长的生成、静默多久后断?
    2. 判定「上游无辜」的依据:上游侧日志显示完整响应发完了?还是拿 bili 转发出去的同一份 body 直接 curl 上游能跑完?(这决定我往「bili 转发层自己掐流」还是「请求形状触发上游行为」哪个方向查)
    3. 日志片段:报错时刻附近 grep -nE "upstream stream truncated|upstream stream read failed|watchdog|degenerate" ~/.local/state/billion-context/bili.log | tail,命中行前后各 20 行。重点看是走 [acp-proxy: upstream stream truncated ...](干净 EOF)还是 [plugin] upstream stream read failed ...(读取异常,异常信息会直接说明是 RST/EOF/abort)。
    4. 版本:复现时跑的 bili 版本(grep "acp-proxy v" ~/.local/state/billion-context/bili.log | tail -3),master HEAD 还是发布的 tag?

    我这边已经排查过:默认超时(上游 idle 12min 每 chunk 重置、请求看门狗 24min)默认值下不会频繁触发;历史同类 bug #551/#1647 在 v0.1.88/v0.1.173 已修。接下来重点查 pi 走的 /bili/<url> 前缀转发路径与普通路径的传输差异——这条链路只有 native pi 用,如果那里有独立计时器或池化差异就能解释「只有 pi 报」。

  5. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    收到。我先按「审核先于实现」把自己这边能做的排除法做完了,报告一下结果:

    已验证(当前 master / v0.1.184,真实 pi 0.83.6 + native 插件通道 + 可控的模拟上游),以下场景全部通过、无提前终止:

    场景 结果
    快速流(基线) ✅ 完整
    流中段静默 60s(无任何字节) ✅ 完整(#1647 keepalive 正常持有客户端)
    prefill 静默 60s(首 token 前) ✅ 完整
    静默期间上游发 : ping 注释帧(llama.cpp/部分 relay 风格) ✅ 完整
    连续慢速流 3 分钟 ✅ 完整
    上游空闲连接被回收后复用(stale socket) ✅ 透明恢复(undici 4s 自回收先行,不会踩到死连接)

    同时静态排除了默认配置下的定时器:上游 idle 超时 12min(每 chunk 重置)、请求看门狗 24min、fake-completion 缓冲默认关闭。结论:在默认配置下,「静默时长 / 总时长 / 连接复用」这几类常见触发条件在 master 上都不会产生这个错误。 所以你的本地复现一定带了我还没覆盖到的条件。

    要精确对齐,请给我复现配方:

    1. 通道:bili pi 启动器 / native 插件 / /bili/ 前缀?
    2. 上游:什么类型的 endpoint(哪家 relay / 本地 vLLM / 官方 API?)+ 模型名;
    3. 规律:每轮必现,还是特定轮次(长思考 / 长输出 / 带工具调用)才出现?大约断在第几秒/第几 KB?
    4. 日志关键行(最能一锤定音):
      grep -nE "upstream stream truncated|upstream stream read failed" ~/.local/state/billion-context/bili.log | tail -5
      两种文案对应两种完全不同的机制:
      • upstream stream truncated (xxx) — emitting in-band error = 上游主动发了 EOF(relay/网关侧断了);
      • upstream stream read failed (xxx): <错误> = 传输层失败,后面的错误文本(socket hang up / other side closed / aborted...)直接说明是谁切的线。
    5. 方便的话把完整复现步骤发我(endpoint 即可,不用给 key),我直接在我的环境里对着你的上游复现。
  6. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    进展:我在 master(v0.1.184)上完整复现了截图里这条错误——用真实 pi + native 插件 + 模拟上游,让上游在流中段直接断开(不发 finish_reason / [DONE] / message_stop),pi 端收到的就是截图原句 upstream stream ended before a completion event; this turn may be incomplete,bili.log 对应行是 [acp-proxy: upstream stream truncated (openai) — emitting in-band error]。

    这确认了两件事:

    1. 信号链路本身在 master 上是好的,没有「误报」路径——只有上游真的在终止事件前断开时才会出这条错;
    2. 因此问题收敛为:你的上游为什么每次都在终止事件前断。结合前面排除法(60s 静默 / prefill 静默 / ping 帧 / 3 分钟长流 / 连接复用全绿),嫌疑集中在 relay/网关侧对「经 bili 转发后的请求」的处置上(比如响应时长上限、WAF、或对带工具/标签的请求体走了不同路由)。

    所以还是需要你那边的两个关键证据来定案:

    grep -nE "upstream stream truncated|upstream stream read failed" ~/.local/state/billion-context/bili.log | tail -5
    • 如果是 upstream stream truncated ... — emitting in-band error:上游主动 EOF,拿 grep 命中的时间戳对照 relay 侧日志(同一时刻的断连记录)即可定位是谁切的;
    • 如果是 upstream stream read failed ... : <错误>:把 <错误> 原文发我(socket hang up / other side closed / aborted 各指向不同凶手)。

    外加:通道方式、relay 类型 + 模型名、是否每轮必现。有这些我就能对着复现。

  7. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    上游一定是好的 因为关闭billion-context就没有这个错了 虽然表面原因是上游 但是需要注意 一个巴掌拍不响 需要看最近几个版本改了哪些和上游相关的内容,可能导致不转发上游内容进而导致bug

  8. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    按你说的方向查了「最近版本与上游相关的改动」,结论先摆出来:转发循环本身没被近期版本改坏,证据如下——

    代码清点(v0.1.150 → v0.1.185,约 3 周)

    实证矩阵(真实 pi 0.83.6 + native 插件 + 可控模拟上游,master 上跑):快流 / 中段静默 60s / prefill 静默 60s / : ping 注释帧 / 连续慢流 3 分钟 / anthropic wire / openai wire —— 全部字节完整转发,终止事件无一丢失。唯一能触发截图这条错的场景是:上游在终止事件前把连接断了(S10 复现,逐字一致)。

    所以逻辑上只剩两种可能,都符合「关掉 bili 就好」:

    1. 请求形状差异(我认为嫌疑最大):经 bili 的请求体和直连不一样——消息里带 ACP 标签、第 2 轮起带 ACP 工具、x-bili-* 头。relay 完全可能只对这种形状断流(生成中断 / WAF / 风控),对直连的裸请求毫发无伤。「上游一定是好的」这个推断依赖「直连没问题」,但直连发的不是同一个请求体。
      决定性实验:把失败那轮 bili 实际发出的请求体原样抓下来(bili 有 snapshot;或在 bili↔relay 之间挂 mitmproxy),用 curl --no-buffer 直放 relay——直放也断 = 请求形状触发了 relay 侧处置;直放正常 = 差异在连接层(keep-alive 池化 / TLS 指纹),再往传输层挖。
    2. bili 自身的放大路径(可自查排除):degenerate-takeover——若某轮模型的可见输出被标签回显过滤清空,bili 会丢弃这轮并自动重发一次;第二次重发如果被断,信号照样报出来(第一其实可能是好的)。日志里若有 [plugin] degenerate terminal turn ... retrying once 就是它。

    麻烦补三个信息就能收敛:① grep 命中的是 emitting in-band error(干净 EOF)还是 read failed ... : <错误>(读取失败,错误原文很关键);② 「老是」是从哪个版本更新后开始的(可以精确二分);③ 单轮还是多轮会话出现(工具是第 2 轮才进请求体的)。

  9. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    「从 v0.1.180 开始」这个锚点很有用,我把 v0.1.179→v0.1.180 全窗口(44 个提交)逐文件过完了,先说结论:这一版没有任何能截断/丢失上游流内容的改动。该窗口内全部变更归类:

    类别 内容 与流转发的关系
    advisory 系统(#1577/#1588) 面板提示、rollback 候选拦截 不碰流
    compat.dropFields(#1757) 按 provider 删除客户端固定字段,纯 opt-in,未配置时字节级透传 默认零影响
    ghost token 计量重构(#1839) nudge/preflight 的 token 来源分级、overflow-arm 只影响压缩触发决策,不动响应字节
    pi 自更新通道(#1868) 新增 src/pi-channel.ts:代理定期驱动 pi update --extension npm:billion-context 只管装包,不碰流;但见下方 A/B 实验
    kernel pin 0.0.100(#1725) 工具保护大小写不敏感 proxy 模式工具剥离策略,且剥离也不影响响应流
    Responses degenerate retry(#1863) loop 模式 Responses 通道 不在 pi 的 plugin 管道上

    plugin 管道的读流/解析/转发/终止判定循环在这个窗口内一行未动。所以「v0.1.180 引入了断流」在代码层面不成立——要么版本归因有偏差(更新前实际不是 0.1.179?),要么同时间变的不是 bili。

    注意一个容易混淆的点:如果你当时跑的是 pi update --all 或 pi update,pi 本体也一起升级了,而 #1868 让 pi 扩展副本开始跟随全局版本——三个变量(bili 版本、pi 版本、relay 侧)可能同时动了。

    给你一个 5 分钟的干净 A/B(利用 pi 对钉版 spec 的原生支持):

    pi update --extension npm:billion-context@0.1.179
    # 重启 pi,跑同样的会话
    
    • 错误消失 → 真回归窗口成立,我再往 0.1.179→0.1.180 的请求形状差异(而非转发代码)深挖;
    • 错误依旧 → bili 版本不是变量,锁定环境/形状方向。

    另外两条信息仍然卡着诊断(日志里一眼就能看到):

    1. grep -nE "upstream stream truncated|upstream stream read failed" ~/.local/state/billion-context/bili.log | tail -5 —— 命中的是 emitting in-band error(上游干净关流)还是 read failed ... : <错误原文>(读取失败,原文直接指向元凶);
    2. 走的是哪个 relay/模型、pi --version 多少。
  10. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    这两行日志信息量很大,先给判定:两条都是 relay 侧主动关连接,bili 只是如实上报——错误文本本身就把 bili 排除在「断流者」之外了。

    逐条拆解:

    1. read failed (openai): other side closed —— 这是 undici 的 SocketError,源码里只有一个产生点(client-h1.js onHttpSocketEnd):TCP 收到对端 FIN、但 HTTP body 还没按协议收尾(chunked 没发 0 终结块)→ 判定「对方把还开着的响应体直接掐了」。是远端硬断。
    2. upstream stream truncated — emitting in-band error —— 另一种形态:relay 把 SSE body 按协议正常收尾了(chunked 终结块发了),但从头到尾没发过 finish_reason/[DONE]。这是应用层主动提前结束生成(但把响应包得干干净净)。

    对照排除 bili:bili 自己的所有杀流路径产生的错误文本都不同——idle 超时是 This operation was aborted(AbortError),watchdog/客户端断开走 abort+destroy 分支且日志另有 watchdog/client aborted mid-stream 字样。你的日志里是 other side closed + 干净 EOF 两种远端行为,bili 侧没有任何自杀痕迹。#721 这条信号的存在意义就是把这个事实显式化——直连 pi 遇到同样的断流只会拿到一个裸 EOF,症状更隐蔽。

    所以「一个巴掌拍不响」的答案是:bili 的角色是让失败可见;断流的巴掌在 relay 侧。剩下唯一的问题是:relay 为什么只对这些请求断流。三个候选机制,各有判别实验:

    候选 判别方法
    A. LB/relay 对流式响应有固定墙钟上限(如 60s/300s 一刀切) 看日志时间戳:每次失败从「请求发出」到「truncated/read failed」行的间隔是否聚在某个常数附近
    B. 请求形状/内容触发风控或 WAF(带 ACP 标签和工具的消息体 vs 直连裸体) 抓失败那轮的出站 body 原样直放 relay(curl --no-buffer):直放也断=形状/内容,直放正常=连接层
    C. relay 的上游模型商断流,relay 只是透传 同 B;若 relay 有访问日志,拿失败时间点去查最省事

    要的数据就一样东西:挑 2~3 次失败,各贴 ±30 行日志(带上每次失败之前那条请求日志行,有时间戳和 URL),我直接算间隔分布——聚在常数就是 A,结案;散布就是 B/C,再跑直放实验。另外一句:走的哪个 relay 服务、什么模型?有些服务文档里就写着单流时长上限。

  11. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    x-routify-success: false 这条头把问题性质定死了:这是 relay 自己打的失败标记——它知道这次路由/上游调用没成功,然后把失败以「流中途关闭」的形式透传了出来。再叠加「单轮、短 prompt、100% 复现」,之前候选里的时长上限、长输出风控、生成动力学那一类全部出局——这是一个确定性的、请求级的拒绝:relay 对「经 bili 发出的这个请求」本身处置失败。机制层面已经收敛,剩下的只是找出请求里到底是哪个元素触发的:

    嫌疑元素就两个(连接/TLS 层排除——直连和经 bili 走的是同一个 Node/undici 栈):

    1. 出站 body 形状:pi 插件模式下第 1 轮起消息体里就带 ACP 工具(compress/decompress/acp_status…),直连裸请求没有;
    2. 转发到 relay 的 x-bili-* 请求头(x-bili-plugin、x-bili-plugin-conversation 等,bili 原样透传客户端打上的标记头)——relay 若按头做路由/风控就会中招。

    bili 自带抓包开关,不用 mitmproxy,一条命令两边都拿到:

    # 在 pi 代理进程环境里加 ACP_DUMP_BODY=1(或配置 diagnostics.dumpBody: true),重启 pi 复现一次
    ls ~/.local/state/billion-context/raw/
    # 每次请求两个文件:<ts>-<sid>-INCOMING.txt(pi→bili 原始字节)和 <ts>-<sid>-REQ.txt(bili→relay 的最终字节:完整请求头+body,auth 已自动脱敏)

    把这两个文件贴上来(或私发我)。拿到后我做最小化二分,你本地用 curl 就能验证,每步 30 秒:

    • R0:把 REQ.txt 的请求原样直放 relay(补上真实 key)→ 预期 100% 复现 x-routify-success: false(证明单靠 bili 的出站字节即可触发,与连接无关);
    • R1:同 R0 但删掉所有 x-bili-* 头 → 翻成 true = 头是触发器,结案;
    • R2:回到 R0 但删掉 body 里的 ACP 工具数组 → 翻成 true = 工具形状是触发器,结案。

    另外两个顺带确认:① 直连(关 bili)时响应头里 x-routify-success 是不是 true?② routify 是你们自己的服务还是第三方?如果是自己的,拿失败时间点查一下它侧的日志,success:false 的内部原因(上游 4xx?路由无后端?)应该直接写在里面——那会跳过所有二分一步到位。

  12. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    dsh 也中招这个信息很关键——它把嫌疑范围进一步收窄了:pi 和 dsh 是两条完全独立的宿主扩展,但它们在「经 bili」时共享同一套出站改造,共同点只有三样:

    1. ACP 工具注入(compress / decompress / search_context / acp_status / acp_cache,schema 来自同一个内核,两条 lane 逐字节相同);
    2. 转发到 relay 的 x-bili-* 标记头(x-bili-plugin、x-bili-plugin-conversation、x-bili-plugin-model 等);
    3. 发生过压缩后消息体里的 ACP 标签(全新会话第一轮还没有)。

    所以如果 dsh 也是全新会话单轮短 prompt 就 100% 复现,嫌疑就只剩 ①②——触发器在 bili 的公共插件层,不在任何单一宿主扩展里。请确认一下 dsh 是不是也是「新开会话第一条消息就挂」。

    下一步还是那个抓包(pi、dsh 各来一份最好),拿到后我直接做最小化二分给你出精确的 curl 验证序列:

    # 复现前给宿主环境加 ACP_DUMP_BODY=1(或配置 diagnostics.dumpBody: true),重启宿主跑一次必挂的请求
    cat ~/.local/state/billion-context/raw/*-REQ.txt   # bili→relay 的最终字节:完整头+body,auth 已脱敏

    把 REQ.txt 内容贴上来即可。我本地已经搭好对照环境,可以立刻算出「直连请求 vs 经 bili 请求」在第 1 轮的完整字节级差异清单,然后按嫌疑权重逐个给你 30 秒可跑的 curl 开关实验(先删 x-bili-* 头、再删 ACP 工具数组、最后回退工具数量),哪一步让 x-routify-success 翻成 true,触发器就是它。

  13. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    你在哪里看到的dsh中招?有个猜想 是不是和acp标签被强制剥离有关 是模型输出的标签被剥离 ? 最近有一个这样的issue合并

  14. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    Follow-up with a fully-instrumented local repro of the same error family — root cause found on my instance, and it generalizes.

    Chain: client → bili (compress/rewrite) → local routing proxy → vendor SSE endpoint. The vendor answers SSE headers quickly, then goes silent during a long prefill; a 180s no-data read timeout on the routing proxy (Python urlopen(request, timeout=180) — the timeout applies per socket read) kills the connection. bili sees a clean EOF with zero data frames and reports upstream stream ended before a completion event (#721, intentional — it refuses to silently fabricate a turn end). The bili-side audit over v0.1.176..185 found no regression: all upstream-path timeouts are 12min (fetch-util.ts, upstream-proxy.ts), no 180s timer exists anywhere in src.

    Why "turning bili off makes it go away": with a direct connection the client SDK transparently retries connection-level failures that happen before any data is received (OpenAI/Anthropic SDKs retry these by default), so the same upstream stall heals silently. bili's #721 policy deliberately turned that into a visible error. That asymmetry — not a bili bug — is what you're seeing.

    Fix landed: PR #2173 makes bili retry exactly once when the upstream died with zero visible output (no partial turn was streamed, so the retry cannot duplicate anything). Combined with the fact that the first (timed-out) attempt has usually completed the prefill server-side, the retry hits a warm prefix cache and returns in ~1s — the failure becomes invisible.

    Evidence details and the instrumentation used are in #2171. If you can grab bili --version plus the log lines around the error (grep -n "truncated\|stream silent" <log>), we can confirm whether your relay cuts at the same signature (headers OK → long silence → EOF) — every case we instrumented locally matched it.

  15. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    先正面回答你上一条的两个问题,再收口。

    ① dsh 的信息来源:我依据的是当时平台转发到我的一条、标注为本 issue 的「这个dsh也有问题」评论——但现在线程里(floors 1–20)没有这一条。如果它其实发在别的 issue 或被删了,我那条 dsh 收窄(floor 18)作废,抱歉造成误导;不过按新根因看它也不影响结论:同一 relay 链路上跑的任何 lane(pi/dsh/其他)都会踩同一个 ~180s 掐断,「多 lane 同时中招」恰好与网关侧根因自洽。

    ② ACP 标签剥离猜想:证据直接排除。#2171 的仪表化签名是零数据帧——网关回完 200 + text/event-stream 头后一个 SSE data frame 都没发,~180s 后掐断。没有任何模型输出产生,输出侧的标签剥离过滤器根本没有输入可处理,这条路径在零帧场景下不会执行一行。bili 侧也没有任何 180s 定时器(我的独立审计一致:idle 12min/chunk、watchdog 24min;近期合并的剥离加固 #1881/#1882/#1897 都作用于文本通道,与本签名无关)。

    本线程所有证据与新根因完全咬合:

    • x-routify-success: false = 路由代理给自己失败的上游调用打的标记 ✓
    • 短 prompt 100% 复现 = prefill 确定性地超过网关 no-first-byte 上限(大系统提示+工具集撑长 prefill,与用户 prompt 长度无关)✓
    • 两种日志变体(干净 EOF / other side closed)= 代理杀连接时的两种收尾方式 ✓
    • 直连不报错 = 客户端 SDK 对「数据到达前的连接级失败」默认透明重试,bili 的 Plugin mode: upstream stream truncated before terminal event → client gets bare cut-off SSE (no completion/error event) #721 则刻意把它显式化 ✓
    • 「从 v0.1.180 开始」= 时间巧合:昨天同 lane 1555 次转发零截断,行为变化发生在 relay 侧 ~今天,与 bili 版本无关 ✓

    给 @cherish-ltt 的确认与止血步骤:

    1. 确认签名:grep -n "truncated\|stream silent" ~/.local/state/billion-context/bili.log,看每次失败从请求发出到 truncated 行的间隔是否聚在 ~180s(stream silent 行会显示静默时长);
    2. 立即止血:装 PR 构建 npm install -g billion-context@0.0.2221-pr.2173.a503ba8(或等 fix(#2171): re-issue plugin streams once on zero-visible upstream cuts #2173 合并后的正式发布)——零可见输出的断流会自动重发一次,暖缓存下 ~1s 恢复,用户无感;
    3. 根治在 relay 侧:把路由代理/网关的 no-first-byte 超时调过你们模型的最坏 prefill 时长(bili 的重试只是兜底)。

    收工判定:诊断阶段结束——根因在 relay 网关 no-first-byte 超时,bili 行为符合设计(#721 如实上报),修复已在 #2173(review 完成、CI 全绿、mergeable,合并由人执行)。@cherish-ltt 确认签名匹配后本 issue 可关。

  16. ranxianglei commented on Oct 6, 2026

    @ranxianglei
    Owner

    @cherish-ltt 麻烦是否可以补充下使用的模型?我本地最终定位为上游glm5.3并发限制

  17. ranxianglei commented on Oct 6, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    等 @cherish-ltt 回复期间补两点,把「并发限制」和之前的签名串起来:

    1. 同一事件的两层表述:命中 glm5.3 并发上限 → 请求在 vendor 侧排队、prefill 不启动 → 网关始终收不到首字节 → routify 代理 180s 读超时掐连接。这也解释了「昨天 1555 次转发零截断、今天频繁」——是上游 lane 今天开始打满,与 bili 版本无关。
    2. fix(#2171): re-issue plugin streams once on zero-visible upstream cuts #2173 在该根因下的预期要分情况:瞬时打满(饱和尖峰)时自动重发有效——重试命中暖缓存 ~1s 恢复,用户无感;持续打满(一直排不进去)时那一次重试同样挂掉,Plugin mode: upstream stream truncated before terminal event → client gets bare cut-off SSE (no completion/error event) #721 错误会照常显式化——这是设计内行为(零可见输出才重试,二次失败如实上报),不是漏网。持续超限只能靠上调 glm5.3 并发配额或减少并发会话数解决。

    @cherish-ltt 补充模型信息时,麻烦顺带说下报错形态是阵发性(一阵一阵)还是持续性(连续必现):阵发性更符合并发上限签名,装 PR 构建(npm install -g billion-context@0.0.2221-pr.2173.a503ba8)后基本无感;持续性则要先解决配额。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingp1

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions