Skip to content

fix(#1819): reject non-shrinking preflight folds; report net growth in compress receipt - #1828

Closed
ranxianglei wants to merge 1 commit into
masterfrom
2026-10-01_preflight-no-expand-guard
Closed

ranxianglei wants to merge 1 commit into
masterfrom
2026-10-01_preflight-no-expand-guard

Conversation

@ranxianglei

@ranxianglei ranxianglei commented Oct 1, 2026 •

Copy link
Copy Markdown
Owner

Part of #1812 (defect A — merged back from #1819). Umbrella stays open until #1818/#1824 land too.

问题

弱 summarizer(本地小模型)会"复述膨胀":产出的 summary 比自己覆盖的范围还大。旧准入闸门(src/preflight.ts)只查扁平的 maxSummaryLength 字符上限,没有净收缩单调性检查——这种"越压越大"的折叠被当作成功应用,rebuild 后 payload 反而变大。#1812 事故即此路径:5 分钟换来 −5.5%,且 ~N tokens saved 遥测持续报"节省"。

修改(按 issue 建议第 1、2 条)

  1. 净收缩单调性闸门(preflight 准入) — src/preflight.ts:新增内部常量 NET_SHRINK_TOLERANCE = 1.05。候选 summary 的质量与本循环 post-fold 记账使用同一单位(token 制取内核对该 span 的 credit planned.compressedTokens;字符制取被折叠消息的原始字符质量——与成功路径的 folded 计算逐式镜像),超过 span 质量的 1.05× 即判为 unusable,走既有 [Bug] Codex 额度中断后恢复长会话,preflight SSE 摘要为空并持续 502 #726 halving/skip 路径;fail-fast detail 点名 "suspected regurgitation"。容忍度覆盖 O(1) tag 开销与两侧估算器噪声;复述膨胀(通常 ≥2×)在容差内被决定性拒绝。
  2. 诚实遥测(compress 回执) — src/stream.ts applyRanges 成功路径按块计算净变化(新块:+compressedTokens − 新 summary 质量;refold:旧 summary 质量 − 新 summary 质量);本次调用净变化 ≤0 时在回执行末尾追加 [Net context change: +N tokens — …](或 [No net shrink: …])。基础行 ~N tokens saved 原样保留(src/loop/core.ts:997 的正则解析不受影响);日志副本同步追加(日志清理隐私信息 #1718 对等要求),追加文案不含 summary 摘录(bili.log 安全)。该修正同时覆盖 preflight 驱动与模型驱动(proxy 模式模型自写 summary)两条折叠路径的遥测。

issue 建议第 3 条(整轮早退/bail early)未实现:属 "consider" 级优化,现有预算(MAX_SUMMARY_CALLS_PER_PREFLIGHT / MAX_PREFLIGHT_ROUNDS / fail-fast reporting)已把成本限界,留待 owner 决策。

行为变更披露(owner policy 2026-09-22 第 4 条)

  • 旧:任何不超过 maxSummaryLength 字符上限的 summary 都被接受为成功折叠,即使它比自身范围更大 → payload 可能增大、压缩循环再触发。
    新:候选质量 > span 质量 ×1.05 时被拒绝,经 halving 降级重试直至 floor 后 skip;该轮以 exhausted fail-fast 报告并点名 regurgitation。净效果:preflight 不再可能因单轮折叠而增大 payload。
  • 旧:折叠回执恒报 ~N tokens saved(N = 移除质量,与实际净变化无关)。
    新:当本次调用的净变化 ≤0 时,回执与日志在基础行之后追加净增长/零收缩更正。纯缩小折叠的输出字节不变。

config surface

无新增/变更用户配置字段。NET_SHRINK_TOLERANCE 是模块内部导出常量(与 MAX_SUMMARY_CALLS_PER_PREFLIGHT 同级),不进 config.json/env/CLI。

Pre-flight

  • CI(本 PR head 9eda291):13/13 checks 全绿 —— typecheck、test ×4 平台矩阵(ubuntu/windows × node 22/24)、build-artifact、version-guard、e2e + 全部 real-client lanes(codex/dsh/opencode/pi)、hermetic registry e2e。
  • 新增回归测试 tests/issue1819-regurgitation-guard.test.ts 3/3 绿(膨胀被拒零块落地 / 缩小不误拒 / 回执净增长更正可解析),CI 内跑过。
  • 本地复核(acp-kernel 0.0.99,与 lockfile 一致):typecheck exit 0;store/ccr-plugin/fork-ccr-adoption/issue1819 四文件 44/44 绿。

勘误(2026-10-01)

初版描述中"origin/master typecheck 红 + 10 个 CCR 测试失败 → 另立 #1826"一节有误,特此更正:那是本工作区 node_modules 陈旧所致(装的是 acp-kernel 0.0.98,而 package.json/lockfile 均 pin 0.0.99)。npm ci 同步后本地 typecheck 零错误、上述 CCR 测试全绿,且本 PR 的 CI(含 typecheck)全绿证明 master 健康。#1826 已作为误报关闭。本 PR 的验证结论以本节 CI 结果为准。

@github-actions

github-actions Bot commented Oct 1, 2026

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: 2026-10-01_preflight-no-expand-guard (9eda291)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.1805-pr.1828.0270524

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr1828.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 Review 完成:方向正确、实现精确、测试有牙 —— 判定:可合并(mergeable)。

审核过程

按规范走了完整 review:读原 issue(#1819/#1812 事故链)→ 拉取分支逐行核对代码与内核(acp-kernel)语义 → 本地独立复跑验证 → CI 状态核对。查重:无重复项(#1819 为唯一母 issue;#1826 已确认误报关闭)。

本地独立验证(非仅采信 PR 描述):

  • typecheck(branch head):exit 0,零错误;另在 origin/master 基线 worktree 同法复核亦零错误——与勘误后的描述一致(初版"master 红"一节已由正文勘误 + master typecheck red: src/store.ts (CCR v2 lockstep) targets acp-kernel API newer than pinned 0.0.98 #1826 关闭解决,状态自洽,无遗留)
  • 受影响面定向测试:218/218 全绿——新增回归测试 3/3 + 全部 preflight-* 套件 + compress-* 套件 + fix-1124-compress-receipt + loop-compress + e2e-compress-cascade/grow-compress
  • build(tsup):通过
  • CI(head 9eda291):13/13 全绿(typecheck、test×4 矩阵、build-artifact、version-guard、e2e + codex/dsh/opencode/pi real-client lanes、hermetic registry e2e)

关键正确性交叉验证(review 中重点核过的三处):

  1. 两条净变化公式均与内核语义精确一致。新块公式 compressedTokens − countTokens(new summary):内核 block.compressedTokens 恰为"直接消息质量 + 被消费子块摘要质量",不含新 summary 本身 → 公式即真实净变化(含消费子块的情形)。refold 公式 countTokens(old summary) − countTokens(new summary):inline 整块 decompress 后块保持 active、恢复原文留在折叠 span 之外的 tool-result 消息里,refold 原地只换 summary 且不计入 tokensCompressed → 该次调用的真实净变化正是旧摘要−新摘要。我最初怀疑 refold 漏算了原始消息质量,读 decompress-shared 设计注释后确认不成立。
  2. 闸门单位与 post-fold 记账逐式镜像:char 制表达式与成功路径 folded 计算完全相同;token 制用内核 preview credit,与 apply 后实际 credit delta 相等(preview 到 apply 之间 state 不变,且内核返回的 token 总量与被填入的 dummy summary 文本无关)。两侧估算器同为内核 defaultCountTokens,无口径漂移。零基线边缘(resume 继承的 0 记账,preflight accepts folds that EXPAND context when a weak summarizer regurgitates (越压越大) #1819 原始 repro 场景)→ 任何非空候选被拒 → halving 至 floor → skip,行为正确。
  3. 回执契约不破:基础行 ~N tokens saved 字节不变,core.ts:1010 的解析正则 /~(\d[\d,]*) tokens saved/ 非锚定取首个匹配,追加的 netNote 位于其后且文案不可能误匹配;纯缩小折叠输出字节零变化;日志副本同步(日志清理隐私信息 #1718 对等);追加文案不含 summary 摘录(bili.log 安全)。

回归审查(既有行为清点):

  • 准入集合严格收缩至"净收缩候选"——这是修复本身,已在正文披露(旧:≤maxSummaryLength 即接受 → 新:再要求 ≤span×1.05,经 halving 降级后 skip + exhausted fail-fast 点名 regurgitation)。
  • halving/skip 机制未动,成本限界保持(MAX_SUMMARY_CALLS_PER_PREFLIGHT=16 + transient 预算);最坏情形(模型全程复述)从"立即接受并增大 payload"变为"烧满调用预算后 skip 并诊断报告"——有界且披露,issue 建议第 3 条(bail early)明确留待 owner 决策,处理得当。
  • 残留边缘(非阻塞、记录在案):以图片等低 credit 内容为主的 span,内核 credit 可能低估真实 payload 质量,此类"忠实但超 1.05×credit"的摘要现在会被 skip 而非接受——与循环记账自洽(这种折叠本就不能帮循环逼近目标),属合理取舍。
  • 分支落后 master 10 个提交(base 012a86a → 现 a3d7ddc):逐一核对,那些提交只触碰 src/server.ts(3de2ea8,diff 与回执/applyRanges 零耦合)与 dsh-native* agent 文件,与本 PR 文件(preflight/stream)无重叠、无语义冲突,GitHub mergeable=true。按仓库新鲜度纪律建议合并前顺手 rebase 一次,非必需。

测试有效性:三个回归测试都是真断言——①把 maxSummaryLength 置 0 禁用旧上限,确保只有新闸门能拒绝,断言零块落地 + 级联有界 + fail-fast 携带 "regurgitation" 诊断(去掉闸门必红);②钉住不误拒侧(健康摘要必须落地);③钉住回执契约(基础行可被 core.ts 正则解析 + 净增长更正追加 + 日志对等 + 健康折叠无注记)。

结构化七问

  1. 是什么问题:弱 summarizer"复述膨胀"——产出的 summary 比自身覆盖范围还大,旧准入闸门只查扁平字符上限,这类越压越大的折叠被当作成功应用,payload 反而增大(130k上下文窗口被占满触发无效压缩越压越大 #1812:5 分钟 −5.5%),而遥测持续谎报 ~N tokens saved。
  2. 什么原因导致的:准入决策缺少净收缩单调性检查——pipeline 任何位置都不比较候选摘要与所替换 span 的质量,maxSummaryLength 只限绝对大小不限相对收缩;遥测侧则把"移除的质量"直接当"节省"上报,与实际净变化脱钩。
  3. 怎么修复的:①preflight 准入门内加单调性闸门:候选质量 > span 质量×1.05 判 unusable,复用既有 halving/skip/fail-fast 路径并点名 suspected regurgitation;②applyRanges 按块核算真实净变化(新块/ refold 两式),本次调用净变化 ≤0 时在回执与日志的基础行之后追加净增长/零收缩更正,基础行契约不动。
  4. 是否有回归问题:唯一语义变更即修复本身(准入集合收缩),已披露。逐项审过:halving/skip 机制与成本限界不变、基础行字节与 core.ts 正则解析不受影响、纯缩小回执输出不变、refold 公式经内核原地更新语义核验无误、两侧估算器同一口径、零基线边缘行为正确。残留一个非阻塞取舍见上(低 credit 重 span 可能由接受变 skip,与循环记账自洽)。
  5. 是否破坏缓存:不涉及——未触碰缓存/重试/增量游标/去重键;前缀缓存敏感的头部 system 消息不动,改动仅限折叠准入与回执尾部文本。
  6. 是否改了设计方向:不涉及。闸门落在既有准入/halving 架构内,遥测是既有回执的扩展而非契约变更;issue 建议第 3 条(整轮早退)有意不实现,留 owner 决策。
  7. 是否引入了新的配置:无。NET_SHRINK_TOLERANCE=1.05 为模块内部导出常量(与 MAX_SUMMARY_CALLS_PER_PREFLIGHT 同级),不进 config.json/env/CLI。

结论:可合并。 方向打到根因(修准入决策本身,不是滤症状)、两模式(proxy/preflight 驱动 + 模型驱动回执)均已覆盖、diff 干净(3 文件 211+/1-,每行在题内)、行为变更已按规范披露。唯一小提醒:合并前建议 rebase 到当前 master(无冲突,纯新鲜度纪律)。

@ranxianglei

Copy link
Copy Markdown
Owner Author

[bot] 🏷 Superseded by the consolidated PR #1818 per owner instruction (2026-10-01: 「把刚刚拆分的合并到一个 pr 其他关闭」). This fix (defect A — reject non-shrinking preflight folds, report net growth in compress receipt) ships inside #1818 as commit 4ea9d397. Closing; tracking continues under umbrella #1812.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant