Skip to content

feat: compress.streamSummary — force streaming preflight summaries (#2133) - #2135

Merged
ranxianglei merged 2 commits into
masterfrom
wt-2133-ework-daemon
Oct 5, 2026
Merged

ranxianglei merged 2 commits into
masterfrom
wt-2133-ework-daemon

Conversation

@ranxianglei

@ranxianglei ranxianglei commented Oct 5, 2026 •

Copy link
Copy Markdown
Owner

Closes #2133

做了什么

新增 compress.streamSummary 配置键(boolean)。置 true 后,preflight 摘要请求从首次尝试起强制走流式(SSE)。支持三级级联(global → provider → model),最深层生效,可只限定出问题的 route。

为什么这样做

现有 session.metadata.preflightStreamSummary 自学习标志只在「HTTP 400 且响应体命中 stream … true」时置位(#626)。Cloudflare(或同类网关)掐断长非流式补全时回的是 524/503/502——不匹配正则,自学习永远不触发,每轮摘要重复「非流式 → 524 → 重试」循环,压缩空转不折叠(即 #2133 报告的现象;手工把会话文件改成 true 立即恢复)。

设计决策:不扩展自动学习到 5xx——一次 503 限流抖动就可能永久翻转会话的 wire shape,启发式误伤风险高;issue 作者也明确要确定性配置而非更多错误驱动学习。因此提供显式配置逃生门,学习路径原样保留(只覆盖真正的 400 stream-required)。

config surface(按规范声明)

  • 新键:compress.streamSummary,boolean,默认不设(= 旧行为:非流式优先、400 时学习)。纯增量,无迁移。
  • 三级:global compress、provider 级 providers[<url>].compress、model 级 providers[<url>].models.<m>.compress(配置文件顶层键是 providers,或 providersPath / ACP_PROVIDERS 指向的外部 providers.json;routes 只是解析后的内存表示)。最深层获胜(显式 false 覆盖浅层 true)。
  • 不新增 env var(env 面稀缺;先例:nudgeGrowthTokens 同为仅配置文件)。
  • 热更新:与其他 compress 字段同生命周期(web Apply / POST /__bili/config/reload);web JSON 编辑器保留未知字段,不会静默覆盖。
  • 既有面为何表达不了:learned flag 是 per-session 错误驱动的运行时元数据,不是运维配置;没有任何既有键控制摘要调用的 wire shape。
  • 文档:website/config-reference/compress.yaml 增 seed 条目,已重新生成 CONFIGURATION.md / zh-CN + website 产物(CI docs-sync / docs-coverage 守卫覆盖)。

行为变更披露

  • 默认(未设置):与现行为逐字节一致。缓存 / 重试 / 游标 / 去重策略均不受影响——只改变用户显式开启后会话的摘要请求 stream 标志。
  • Google wire:no-op(其摘要调用本就经 :streamGenerateContent 走流式)。
  • 开启后不会写入会话 learned flag(metadata.preflightStreamSummary)——forced ≠ learned,两个来源独立(有测试钉住)。

测试

  • 新增 tests/preflight-stream-summary-config.test.ts:parse 严格 boolean 校验、merge deepest-wins(含 model 级 false 压 global true)、e2e×3——① global ON:524 模拟网关后所有摘要首次即流式、折叠成功、200、learned flag 保持空;② default OFF:钉住不变行为(非流式 → 524 → fail-fast 502、不转发);③ per-provider scope:只有带配置的 route 走流式。
  • 本地定向验证:新套件 + preflight-stream-summary.test.ts(Codex(ChatGPT 登录)preflight 摘要被 400「Stream must be set to true」拒绝,长会话返回 502 #626 学习路径)+ compress-settings.test.ts + web-routing.test.ts 全绿(49+8 pass);typecheck + build 绿。全量回归交 CI。

顺手小修(独立 commit)

工作中发现 mergeCompress 里 stripImages 一行自上游起就顶格缩进(格式瑕疵),单独一个 cosmetic commit 修掉。

@github-actions

github-actions Bot commented Oct 5, 2026

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: wt-2133-ework-daemon (949bda2)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.2178-pr.2135.6aa11e5

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr2135.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 PR review 完成 — https://github.com/ranxianglei/billion-context/pull/2135(head 949bda21)

中文结构化结论(七问)

  1. 是什么问题:preflight 摘要请求默认非流式;Cloudflare 类网关对长非流式补全超时回 524/503/502,而 Codex(ChatGPT 登录)preflight 摘要被 400「Stream must be set to true」拒绝,长会话返回 502 #626 自学习标志只在「HTTP 400 + 响应体命中 stream … true」时置位——5xx 永不触发,每轮摘要重复「非流式 → 524 → 重试」空转,压缩不折叠、窗口压不下去。
  2. 什么原因导致的:分两层。表面:网关掐断长非流式补全。机制:bili 切换流式的唯一途径是错误驱动的 per-session 自学习标志,触发条件只覆盖「400 + stream-required 正文」这一种形态,5xx 网关超时永远进不了学习路径;且运维侧没有任何配置能手动钉死摘要调用的 wire shape。PR 的方向判断正确:修的是机制层(提供确定性逃生门),不是症状层(没有去扩正则吞 5xx)。
  3. 怎么修复的:新增显式 boolean 配置 compress.streamSummary,三级级联 global→provider→model deepest-wins(显式 false 覆盖浅层 true),开启后摘要请求首次即走 SSE。刻意不把自动学习扩展到 5xx——一次限流抖动就可能永久翻转会话 wire shape,启发式误伤风险高;学习路径原样保留(只覆盖真正的 400 stream-required)。forced ≠ learned:强制模式不写会话 metadata(有测试钉住)。
  4. 是否有回归问题:无。逐项过既有行为:① 默认未设置 → forceStreamSummary=false,src/preflight.ts:692 表达式退化为原式,与现行为逐字节一致(e2e OFF 用例钉住 legacy 502 fail-fast 路径);② Codex(ChatGPT 登录)preflight 摘要被 400「Stream must be set to true」拒绝,长会话返回 502 #626 学习路径未动(套件全绿);③ Google wire no-op 属实([preflight] responses 协议 overhead 估算漏计 input[] 内的 developer/system 消息:codex 请求被系统性低估整个 system prompt #829:Gemini 摘要本就经 :streamGenerateContent 走 SSE);④ fail-fast 语义保留——非 400 仍立即抛错,未变吞错;⑤ 热更新/web 配置写路径沿用既有 compress 字段生命周期(web-routing 套件绿);⑥ kernel 零触碰,streamSummary 不会漏进 kernel Config(applyCompressSettings 逐字段映射,无 spread);⑦ 双模式推演:preflight 是 proxy 侧 backstop,只改 proxy→upstream 摘要调用的 stream 标志,client 可见 wire、tool 注入、acp_summary 载体路径均不变。无阈值/时序/输出格式漂移。一个已核实的细微点:仅设此 knob 时 hasCompressSettings 为真 → resolveRequestConfig 每次分配值相同的 Config 对象而非返回 base——全仓无任何身份比较依赖该优化(与其他 boolean 字段同一既有模式),功能 no-op,不构成回归。
  5. 是否破坏缓存:否。不动 prefix cache、重试预算、增量游标、去重键;唯一变化是用户显式开启后会话的摘要请求 stream 标志。
  6. 是否改了设计方向:否。纯增量逃生门;「错误驱动学习」与「运维显式配置」两个独立来源的边界反而更清晰了。
  7. 是否引入了新的配置:是——compress.streamSummary,boolean,默认不设(=旧行为),纯增量无迁移;三级级联最深层获胜;不新增 env var(先例 nudgeGrowthTokens);文档 seed(cw.ssm)+ CONFIGURATION.md/zh-CN + website 产物已重新生成,CI docs-sync/docs-coverage 守卫通过。

证据

  • 本地定向验证(head 949bda21):新套件 + preflight-stream-summary.test.ts(Codex(ChatGPT 登录)preflight 摘要被 400「Stream must be set to true」拒绝,长会话返回 502 #626 学习路径)+ compress-settings.test.ts + web-routing.test.ts = 57/57 绿;typecheck 干净;build 干净。
  • CI @ 949bda21:11/11 workflow 全绿(含主 CI typecheck+全量测试+build+docs-sync、E2E real codex、e2e-native dsh/opencode/pi、e2e-local-registry、Windows overlay、ci-image)。
  • 测试有效性:断言有牙——ON 用例钉住「首次即流式 + 折叠生效 + learned flag 保持空」,OFF 用例钉住「legacy 非流式 → 502 fail-fast + 零转发」(bug 回归时两边都抓得住),scope 用例用双 fake upstream 端到端证明级联作用域;真实 startServer 集成 + listen(0) 确定性端口。
  • diff 整洁度:10 文件 +315/−3,每一行都与本 PR 目的相关;stripImages 缩进瑕疵是独立标注的 cosmetic commit(合规的顺手小修)。
  • rebase 新鲜度:分支基点 5e432094,master 其后仅前进一个 merge(feat: route pi native-mode Codex Responses WebSocket traffic through bili (#2111) #2121 pi-codex-ws-intercept,文件零重叠);merge-tree 干跑确认对当前 master clean merge,无需返工。

判定:可合并(merge 由人执行:https://github.com/ranxianglei/billion-context/pull/2135)。

@ranxianglei
ranxianglei merged commit 1d59262 into master Oct 5, 2026
20 checks passed
@github-actions

github-actions Bot commented Oct 5, 2026

Copy link
Copy Markdown
Contributor

📦 Merged Build Published

This merge to master was published as 0.0.34-master.1d59262 (rolling master tag).

npm install -g billion-context@0.0.34-master.1d59262  # this exact build
npm install -g billion-context@master  # always the newest merged build

npm view billion-context@master prints the current version at any time.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

preflightStreamSummary 自学习永远不会触发——上游在 Cloudflare(HTTP 524)后面时,非流式长摘要必然失败且无法自愈

1 participant