### Description * 现象 上游代理在 Cloudflare 后面时,preflight 摘要请求(非流式)每次都在约 100 秒后被 Cloudflare 掐断,返回 HTTP 524。压缩实际是在“空转”:单个 preflight 周期耗时 3–5 分钟,却只省下几百到两千 token,同时夹杂 summary attempt 1/2 got HTTP 524; retrying、summarization aborted: client disconnected、upstream HTTP 503。当会话上下文已经很大(约 23 万+ token、用量 >100% 触发 EMERGENCY T1)时,压缩速度完全追不上增长速度 summarizeRange 的流式开关是自学习的:只有当上游返回 HTTP 400 且命中 STREAM_REQUIRED_RE 时,才会把 session.metadata.preflightStreamSummary 置为 true 并改用流式。但在 Cloudflare 这种场景下,上游不是回 400 "stream required",而是回 524(网关超时)——错误不匹配正则,自学习永远不触发,此后每一轮摘要都重复非流式 → 524 → 重试的循环。已在 0.1.184 的 dist 代码中确认:除该自学习路径外,没有任何全局配置项可以强制开启流式摘要。 把该会话文件 payload.metadata.preflightStreamSummary 手工改成 true 后(需重启代理使其从磁盘加载),压缩立即恢复正常,不再出现 524。这证明修复方向正确,只差触发条件。 建议提供 compress.streamSummary(或类似)全局配置键,允许用户直接强制流式摘要,而不是依赖错误驱动的自学习; ### bili version * 0.1.184 ### Usage mode * Proxy mode (client manually points its base URL at bili) ### Client and version * zcode ### Operating system * Windows 11 ### Upstream and model * glm-5.3-flash ### Compression-related config (optional) ```yaml ``` ### Log excerpt (strongly recommended) ```text ``` ### /acp or acp_status output (optional) ```text ```
Activity
ranxianglei commentedon Oct 5, 2026
[bot] 🏷 收到。正在审核:先验证 0.1.184 里
preflightStreamSummary的自学习路径与触发条件(STREAM_REQUIRED_RE 只匹配 400),再评估你建议的compress.streamSummary配置键与现有配置体系的映射。有结论会第一时间回复。ranxianglei commentedon Oct 5, 2026
[bot] 🏷 已确认并修复,PR:#2135(https://github.com/ranxianglei/billion-context/pull/2135)
是什么问题:上游在 Cloudflare(或同类网关)后面时,preflight 摘要请求默认走非流式,被网关在 ~100s 掐断返回 HTTP 524;压缩空转(每轮数分钟只省几百 token),大上下文会话永远追不上增长。
什么原因导致的:流式开关
session.metadata.preflightStreamSummary是错误驱动的自学习——只在「HTTP 400 且响应体命中stream … true」时置位(#626)。网关超时回的是 524/503/502,不匹配正则 → 自学习永不触发 → 每轮重复「非流式 → 524 → 重试」。已在 0.1.184 源码逐行核实:除该学习路径外确无任何配置项可强制流式摘要;你手工把会话文件改成 true 后立即恢复的现象与该机制完全吻合。怎么修复的:按你的建议新增
compress.streamSummary(boolean),落在既有三级 compress 级联上(global → provider → model,最深层获胜):置 true 后 preflight 摘要从首次尝试起就走 SSE。刻意没有把自动学习扩展到 5xx——一次 503 限流抖动就可能永久翻转会话 wire shape,启发式误伤风险高;确定性配置比更多错误驱动猜测更可靠。用法示例(只限定出问题的 route):
{ "routes": { "https://your-cf-gateway.example": { "compress": { "streamSummary": true } } } }是否有回归问题:无。默认(未设置)行为与现状逐字节一致——非流式优先、400 时学习;新键纯增量、opt-in。fail-fast 语义、阈值、时序均未动。回归测试把两侧都钉住了:ON(所有摘要首次即流式、折叠成功、learned flag 保持空)与 OFF(非流式 → 524 → fail-fast 502,即你报告的症状本身);既有 #626 学习路径套件同样通过。
是否破坏缓存:否。只改变显式开启后会话的摘要请求 stream 标志;前缀缓存、去重键、增量游标均不受影响。强制模式不会写会话文件的 learned flag(forced ≠ learned,两个来源独立,有测试钉住)。
是否改了设计方向:无架构变化。新键放进既有配置级联机制而非另造形状;错误驱动学习路径原样保留,继续覆盖真正的 400 stream-required 上游。
是否引入了新的配置:是——
compress.streamSummary,boolean,默认不设(= 旧行为);global / provider / model 三级均可用;不新增 env var(env 面稀缺,先例:nudgeGrowthTokens同为仅配置文件);文档同步更新(CONFIGURATION.md en/zh + website 配置参考)。顺手小修(独立 commit):
mergeCompress里stripImages一行自上游起就顶格缩进(格式瑕疵),工作中发现,单独修掉。本地定向测试全绿(新增套件 5 例 + 相邻 4 个套件 49+8 pass,typecheck/build 绿),全量回归等 CI。
ranxianglei commentedon Oct 5, 2026
为什么是 routes 而不是原来的 provider
ranxianglei commentedon Oct 5, 2026
[bot] 🏷 你说得对,是我上一条回复写错了——配置文件的键一直是
providers(原来的那个),不是routes。{ "routes": { ... } }那个示例误把内部变量名当成了配置键:loadRoutes(src/config.ts:895)从配置文件顶层providers(或providersPath/ACP_PROVIDERSenv 指向的外部 providers.json)读取条目,解析成内存里的ProviderRoutes对象——routes只是请求路径上的变量名(server 选项和测试里也用它),配置文件顶层并没有routes这个键(已核对FileConfig类型确认)。正确写法(与其他 per-provider compress 字段如
nudgeGrowthTokens完全同形):{ "providers": { "https://your-cf-gateway.example": { "compress": { "streamSummary": true } } } }键 = 上游 URL 前缀(最长前缀获胜,
findRoutesrc/config.ts:585),与零配置 baseURL/bili/<该串>的语义一致。想给这条 lane 起个友好名字而不是贴整段 URL,用命名条目 +bind(#1469):{ "providers": { "cf-glm": { "bind": "https://your-cf-gateway.example", "compress": { "streamSummary": true } } } }加载时别名会折叠进所绑的 URL lane(显式 URL 键的同名字段优先),名称不会出现在请求路径上。
PR #2135 的描述已同步修正为
providers[<url>].compress/providers[<url>].models.<m>.compress。代码本身无需改动——级联解析(resolveCompress)一直走的就是这些 providers 条目。ranxianglei commentedon Oct 5, 2026
streamSummary 这个名字如何体现 含义
ranxianglei commentedon Oct 5, 2026
[bot] 🏷 名字是「动词 + 对象」结构:stream(流式化)the summary(摘要调用)——即把 preflight 摘要请求的 wire 级
stream标志置为 true。拆开看:stream(SSE 流式补全),这个键控制的就是「摘要这一种调用」的stream取值,从首次尝试起即 true。所以streamSummary≈ 「summary 调用的 stream」,词根就是 wire 上那个字段名。injectTool(注入工具)、injectNudge(注入提醒)、stripImages(剥图片)全是同一命名风格;streamSummary与它们平行,读法一致。session.metadata.preflightStreamSummary,配置键去掉preflight前缀——那是内部管线阶段名,用户配置面由compress块本身限定作用域,不必再背一层内部术语。诚实说局限:名字只表达机制(摘要走流式),不表达动机(网关掐长非流式响应 → 524)——这是本配置面的一贯分工:键名说机制,TSDoc/CONFIGURATION.md 的描述文字说动机(该条目 desc 第一句就写了 Cloudflare 524 场景)。如果希望动机进名字,候选是
summaryStream(名词化,「摘要的 stream 设置」)或带force前缀的写法;我的建议是维持streamSummary——与块内既有布尔风格一致、且正是 issue 里提议的名字,动机已由文档承担。若 owner 更倾向别的读法,改名在合并前成本很低(一个字段 + 文档种子 + 测试引用,无持久化影响)。Merge pull request #2135 from ranxianglei/wt-2133-ework-daemon
feat: compress.streamSummary — force streaming preflight summaries (r…
fix: align misindented stripImages line in mergeCompress (cosmetic, f…
preflight: honor explicit streamSummary=false across both learn paths (…
test: pin the stale-learned-flag clause of explicit streamSummary=fal…
session self-heal: zombie plugin lanes degrade to proxy tools, idle n…