Skip to content

preflightStreamSummary 自学习永远不会触发——上游在 Cloudflare(HTTP 524)后面时,非流式长摘要必然失败且无法自愈 #2133

Closed

Description

@Shenlingzhou

Description *

现象

上游代理在 Cloudflare 后面时,preflight 摘要请求(非流式)每次都在约 100 秒后被 Cloudflare 掐断,返回 HTTP 524。压缩实际是在“空转”:单个 preflight 周期耗时 3–5 分钟,却只省下几百到两千 token,同时夹杂 summary attempt 1/2 got HTTP 524; retrying、summarization aborted: client disconnected、upstream HTTP 503。当会话上下文已经很大(约 23 万+ token、用量 >100% 触发 EMERGENCY T1)时,压缩速度完全追不上增长速度
summarizeRange 的流式开关是自学习的:只有当上游返回 HTTP 400 且命中 STREAM_REQUIRED_RE 时,才会把 session.metadata.preflightStreamSummary 置为 true 并改用流式。但在 Cloudflare 这种场景下,上游不是回 400 "stream required",而是回 524(网关超时)——错误不匹配正则,自学习永远不触发,此后每一轮摘要都重复非流式 → 524 → 重试的循环。已在 0.1.184 的 dist 代码中确认:除该自学习路径外,没有任何全局配置项可以强制开启流式摘要。
把该会话文件 payload.metadata.preflightStreamSummary 手工改成 true 后(需重启代理使其从磁盘加载),压缩立即恢复正常,不再出现 524。这证明修复方向正确,只差触发条件。
建议提供 compress.streamSummary(或类似)全局配置键,允许用户直接强制流式摘要,而不是依赖错误驱动的自学习;

bili version *

0.1.184

Usage mode *

Proxy mode (client manually points its base URL at bili)

Client and version *

zcode

Operating system *

Windows 11

Upstream and model *

glm-5.3-flash

Compression-related config (optional)

Log excerpt (strongly recommended)


/acp or acp_status output (optional)


Activity

  1. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 收到。正在审核:先验证 0.1.184 里 preflightStreamSummary 的自学习路径与触发条件(STREAM_REQUIRED_RE 只匹配 400),再评估你建议的 compress.streamSummary 配置键与现有配置体系的映射。有结论会第一时间回复。

  2. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 已确认并修复,PR:#2135(https://github.com/ranxianglei/billion-context/pull/2135)

    是什么问题:上游在 Cloudflare(或同类网关)后面时,preflight 摘要请求默认走非流式,被网关在 ~100s 掐断返回 HTTP 524;压缩空转(每轮数分钟只省几百 token),大上下文会话永远追不上增长。

    什么原因导致的:流式开关 session.metadata.preflightStreamSummary 是错误驱动的自学习——只在「HTTP 400 且响应体命中 stream … true」时置位(#626)。网关超时回的是 524/503/502,不匹配正则 → 自学习永不触发 → 每轮重复「非流式 → 524 → 重试」。已在 0.1.184 源码逐行核实:除该学习路径外确无任何配置项可强制流式摘要;你手工把会话文件改成 true 后立即恢复的现象与该机制完全吻合。

    怎么修复的:按你的建议新增 compress.streamSummary(boolean),落在既有三级 compress 级联上(global → provider → model,最深层获胜):置 true 后 preflight 摘要从首次尝试起就走 SSE。刻意没有把自动学习扩展到 5xx——一次 503 限流抖动就可能永久翻转会话 wire shape,启发式误伤风险高;确定性配置比更多错误驱动猜测更可靠。

    用法示例(只限定出问题的 route):

    { "routes": { "https://your-cf-gateway.example": { "compress": { "streamSummary": true } } } }
    • 支持热更新(web Apply / POST /__bili/config/reload),与其他 compress 字段同生命周期——不需要重启代理,手工改会话文件的 workaround 也不再需要。
    • Google wire 不受影响(其摘要调用本就经 :streamGenerateContent 走流式)。

    是否有回归问题:无。默认(未设置)行为与现状逐字节一致——非流式优先、400 时学习;新键纯增量、opt-in。fail-fast 语义、阈值、时序均未动。回归测试把两侧都钉住了:ON(所有摘要首次即流式、折叠成功、learned flag 保持空)与 OFF(非流式 → 524 → fail-fast 502,即你报告的症状本身);既有 #626 学习路径套件同样通过。

    是否破坏缓存:否。只改变显式开启后会话的摘要请求 stream 标志;前缀缓存、去重键、增量游标均不受影响。强制模式不会写会话文件的 learned flag(forced ≠ learned,两个来源独立,有测试钉住)。

    是否改了设计方向:无架构变化。新键放进既有配置级联机制而非另造形状;错误驱动学习路径原样保留,继续覆盖真正的 400 stream-required 上游。

    是否引入了新的配置:是——compress.streamSummary,boolean,默认不设(= 旧行为);global / provider / model 三级均可用;不新增 env var(env 面稀缺,先例:nudgeGrowthTokens 同为仅配置文件);文档同步更新(CONFIGURATION.md en/zh + website 配置参考)。

    顺手小修(独立 commit):mergeCompress 里 stripImages 一行自上游起就顶格缩进(格式瑕疵),工作中发现,单独修掉。

    本地定向测试全绿(新增套件 5 例 + 相邻 4 个套件 49+8 pass,typecheck/build 绿),全量回归等 CI。

  3. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    为什么是 routes 而不是原来的 provider

  4. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 你说得对,是我上一条回复写错了——配置文件的键一直是 providers(原来的那个),不是 routes。

    { "routes": { ... } } 那个示例误把内部变量名当成了配置键:loadRoutes(src/config.ts:895)从配置文件顶层 providers(或 providersPath / ACP_PROVIDERS env 指向的外部 providers.json)读取条目,解析成内存里的 ProviderRoutes 对象——routes 只是请求路径上的变量名(server 选项和测试里也用它),配置文件顶层并没有 routes 这个键(已核对 FileConfig 类型确认)。

    正确写法(与其他 per-provider compress 字段如 nudgeGrowthTokens 完全同形):

    {
      "providers": {
        "https://your-cf-gateway.example": {
          "compress": { "streamSummary": true }
        }
      }
    }

    键 = 上游 URL 前缀(最长前缀获胜,findRoute src/config.ts:585),与零配置 baseURL /bili/<该串> 的语义一致。想给这条 lane 起个友好名字而不是贴整段 URL,用命名条目 + bind(#1469):

    {
      "providers": {
        "cf-glm": { "bind": "https://your-cf-gateway.example", "compress": { "streamSummary": true } }
      }
    }

    加载时别名会折叠进所绑的 URL lane(显式 URL 键的同名字段优先),名称不会出现在请求路径上。

    PR #2135 的描述已同步修正为 providers[<url>].compress / providers[<url>].models.<m>.compress。代码本身无需改动——级联解析(resolveCompress)一直走的就是这些 providers 条目。

  5. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    streamSummary 这个名字如何体现 含义

  6. ranxianglei commented on Oct 5, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 名字是「动词 + 对象」结构:stream(流式化)the summary(摘要调用)——即把 preflight 摘要请求的 wire 级 stream 标志置为 true。拆开看:

    1. 直接对应它设置的 wire 字段。OpenAI / Anthropic / Responses 三种请求体里都有那个布尔 stream(SSE 流式补全),这个键控制的就是「摘要这一种调用」的 stream 取值,从首次尝试起即 true。所以 streamSummary ≈ 「summary 调用的 stream」,词根就是 wire 上那个字段名。
    2. 沿用本配置块既有的动词-对象布尔先例:同块里的 injectTool(注入工具)、injectNudge(注入提醒)、stripImages(剥图片)全是同一命名风格;streamSummary 与它们平行,读法一致。
    3. 镜像运行时元数据键:会话里的自学习标志叫 session.metadata.preflightStreamSummary,配置键去掉 preflight 前缀——那是内部管线阶段名,用户配置面由 compress 块本身限定作用域,不必再背一层内部术语。

    诚实说局限:名字只表达机制(摘要走流式),不表达动机(网关掐长非流式响应 → 524)——这是本配置面的一贯分工:键名说机制,TSDoc/CONFIGURATION.md 的描述文字说动机(该条目 desc 第一句就写了 Cloudflare 524 场景)。如果希望动机进名字,候选是 summaryStream(名词化,「摘要的 stream 设置」)或带 force 前缀的写法;我的建议是维持 streamSummary——与块内既有布尔风格一致、且正是 issue 里提议的名字,动机已由文档承担。若 owner 更倾向别的读法,改名在合并前成本很低(一个字段 + 文档种子 + 测试引用,无持久化影响)。

  7. added a commit that references this issue on Oct 5, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions