Skip to content

[PR] fix(#1916): usage-grade baseline write authority gate — isolate concurrent same-session small-stream samples | [PR] fix(#1916): usage-grade 基线写入权威门——隔离并发同 session 小流样本 - #1938

Closed
ranxianglei wants to merge 2 commits into
masterfrom
2026-10-02_usage-authority-gate
Closed

ranxianglei wants to merge 2 commits into
masterfrom
2026-10-02_usage-authority-gate

Conversation

@ranxianglei

@ranxianglei ranxianglei commented Oct 2, 2026 •

Copy link
Copy Markdown
Owner

Fixes #1916(子缺陷 1–2:写者权威;子缺陷 3「B 族身份」待 ACP_DUMP_BODY 转储确认,宿主侧入口路由由在途 PR #1431 承接)

问题

同一 session id 上并发两条请求流时,小流(单消息、无 tools、正常 max_tokens 的宿主内部调用——生产实例为 DSH auto-review,见 #1307/#1309/#1314 与 @heptaspirit 的独立样本)的 usage 报告以 usage-grade 身份覆盖大流的会话基线:事故中主流基线 251,655 被拽到 69,419,触发 #1595 re-anchor(247,994 → 69,419),污染 nudge 时序、preflight 触发地板、窗口自愈输入与缓存台账;下游折叠又用被污染的基线做分母,产出 postCtx≈0 退化折叠(#1911 的症状)。#1913 修了折叠计量空间,但基线本身仍被覆盖。

修法

在唯一 settle 汇合点 settleUsageReport(src/cache-ledger.ts)加权威门,判定逻辑在 admitUsageSample(src/session.ts,与 nudge 参考同模块同 margin 刻度):

门仅在会话积累出实质历史后武装(known refs ≥ REWRITE_MIN_KNOWN_REFS=20,复用 #1001 静默重写检测的「实质历史」阈值):覆盖机制需要一段驻留的主流可被顶替;年轻会话没有值得保卫的主流基线,且无状态瘦客户端(每轮一条消息、不共享 id)的低值真样本(stale 基线救援、learned-cost 修正——e2e-image-billing 钉住的场景)本就没有形状门可以走。CI 首轮即抓到缺此条件的回归:image-billing e2e 的 stale-high 基线救援样本被误隔离。

默认规则:门已武装、当前基线 provenance 为 usage、样本 total 大幅低于基线(超过一个 nudge growth interval)且无解释事件 → 隔离该样本——基线、nudge 三件套、input/cached 聚合、缓存台账行、seam 取证全部不写,emit [acp-usage] quarantined foreign usage sample … warn。隔离是 fail-safe 方向:sticky-high 基线只会让 nudge 偏晚一轮,随后任何真实的大流样本(向上方向恒放行)即自愈。

放行解释(按序判定,均继承同一门,满足 issue 建议第 3 条):

  1. 基线 provenance 非 usage(overflow-arm / estimate / 缺失)→ 真实上报无条件接替(「BUG」sideRequestGuard 会永久拦截进程内第三方插件的 LLM 调用,导致与MemOS冲突 #1110 arm 退役生命周期不被门死锁);
  2. 向上或在一个 interval 内的样本(nudge: no-usage recovery leaves stale reference after network or 5xx failure #1595 正例不受影响);
  3. 本请求发生过折叠(request-scoped postFold:loop 内折叠经 LoopCtx 逐轮置位、preflight 折叠经 Prepared.preflightFolded 单次盖章)——不用 session 级 fold 标志(pendingFoldUsage/compressCreditTokens):并发小流的 settle 会中途清 pfu、并发 prepare 会清零 credit,小流样本可借被偷走的标志获准入并重写基线(不安全方向);
  4. 客户端 compaction 边界(metadata.compactionBoundary,含 /compact echo 与 模型切换后压缩块跨模型失配,新模型收到 61.3 万 token 全量上下文 #1001 静默重写)——单次消费(usageConsumedAt 戳),且仅对话形状(≥10 msgs,复用 REWRITE_MIN_INCOMING_TOTAL)的请求能消费:否则单消息小流可在边界标记后抢先消费、把合法样本挤掉;
  5. meter 切换(SSH 端口转发使用不同本地端口时 Web UI 被 Origin 校验拒绝 #1536 wire/upstream/model 身份变化)——不同计量器不可比,无条件放行;测试中发现缺此分支会把 SSH 端口转发使用不同本地端口时 Web UI 被 Origin 校验拒绝 #1536 的切换样本误隔离(回归 tests/usage-observability.test.ts 抓到);
  6. 逃生阀:连续 3 个低值样本来自对话形状请求(≥10 msgs)时放行最新值并复位计数——合法截断重发(如 native compaction 后的短历史)两轮 sticky-high 后自愈;单消息小流永远无法经阀下移基线。

三条 settle 通道全部接上:loop SSE(LoopCtx 透传)、非流 JSON(Prepared 直传)、plugin 管道(pipePluginChatWithStrip / pipePluginResponsesWithStrip / pipePluginJson / applyUsageSample 尾部可选参数透传)。两种压缩模式均覆盖(plugin-mode 代理侧同样走该门;agent 本地执行的压缩不经此路径,不涉及)。

config surface

无新增/重命名/语义变更:无新配置字段、env、CLI flag;无持久化格式变更(foreignSampleStreak 内存态,buildRecord 显式枚举自动排除);无 wire/message-shape 变更。

行为变更披露(旧 → 新)

路径 旧行为 新行为 原因
年轻会话(known refs < 20)的大幅低值样本 直接写入 直接写入(门未武装,保持原行为) 无驻留主流可保卫;瘦客户端 stale 基线救援不可误伤
usage-grade 基线存在时,大幅低于基线的 usage 样本 无条件覆写 lastInputTokens/lastUsageGradeTokens + re-anchor + 写台账 隔离(warn 日志),除非命中上述放行解释 本 issue:写者权威
本请求内折叠后的下一份 usage 报告 直接写入 经 request-scoped postFold 显式放行(数值结果不变) 防止折叠收缩被误判为外来低值
compaction 边界后的第一份 usage 样本 直接写入 ≥10 msgs 形状消费一次性标记后放行;单消息形状不再消费标记 防小流偷消费
wire/upstream/model 切换后的首份低值样本 直接写入 meter-switch 识别后放行(#1536 检测链路不变) 不同计量器不可比
连续 ≥3 个低值样本(对话形状) 逐个覆写 第 3 个放行并复位计数 合法截断自愈
新增日志 — quarantined / post-fold admitted / meter-switch admitted / escape-valve warn(均可 grep [acp-usage]) 可观测性
下游消费者(preflight 地板、窗口自愈、codex compact health、缓存台账、web 面板) 读到被污染的基线 读到更干净的基线;接口零变更 修复目的本身
cache-warn 诊断(warnCacheCollapse) 可能因外来样本误报 advisory v1 保持原样(纯诊断、无状态写入),文档化残留 避免扩大面

已知残留(均为 fail-safe 方向,文档化):① plugin 管道若上游调用点拿不到消息数则阀/边界消费退化为保守拒绝(本 PR 已把 msgCount 从 server 各调用点透传,常规路径可用);② 进程重启后内存态清空,首份样本按非 usage provenance 放行(有界);③ JSON 通道 loop 内折叠不打 postFold 戳(该组合罕见,sticky-high 自愈)。

与在途 PR 的关系

Pre-flight

  • typecheck ✓(tsc --noEmit --project tsconfig.build.json)
  • 定向测试 ✓:19 个文件 176 pass / 0 fail —— 新增 tests/issue1916-baseline-authority.test.ts(12 用例:事故复现 251655/69419、nudge: no-usage recovery leaves stale reference after network or 5xx failure #1595 正例对照、向上放行、overflow-arm 不死锁、postFold、边界单次消费+形状门、逃生阀双向、heptaspirit 71901→17171、plugin 通道透传、meter-switch 回归、helper 边界、年轻会话武装条件 A/B 对照)+ tests/e2e/e2e-image-billing.test.ts(CI 抓到的回归场景,本地复跑绿)+ issue1595-nudge-reanchor / cache-ledger / usage-observability(SSH 端口转发使用不同本地端口时 Web UI 被 Origin 校验拒绝 #1536) / host-usage-postfold / compress-credit / fold-drift / side-request-isolation / fix-1075 / subagent-sessions / issue1839 e2e / issue1195 e2e 等既有套件全绿
  • build ✓(tsup,dist-import-annotations OK)
  • 全量回归 + E2E 交给 CI:diff 触碰 src/server.ts、src/loop/core.ts、src/plugin.ts 等热文件,ci-e2e.yml 会自动触发 e2e-codex(本地 127.0.0.1 上游不可达,无法本地跑 E2E)

@github-actions

github-actions Bot commented Oct 2, 2026 •

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: 2026-10-02_usage-authority-gate (8490519)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.3959-pr.1938.4ba0090

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr1938.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷

PR #1938 review + 修复完成(head:0321e60d → e2a2413c → 049539d7)

开始 review 时 CI 是红的(test matrix 4×全红 + image-billing e2e;master HEAD 同矩阵全绿,确认本 PR 引入)。根因与处置:

发生了什么:新权威门隔离一切「无解释的大幅下移」。#767/#1843/#1857 的五个 fixture 直接往 session 里戳一个 stale-high 基线(外生陈旧——生产中不可达)并期望一轮内恢复真实 usage;门对这类样本没有任何请求级解释可给,且这些会话是年轻会话/单消息流,shape-gated 路径也走不通 → 断言全部落在被隔离的旧基线上。

  • 修复 1(在途会话已推,我验证):e2a2413c 给门加了 arm 阈值——known refs ≥ REWRITE_MIN_KNOWN_REFS(=20,模型切换后压缩块跨模型失配,新模型收到 61.3 万 token 全量上下文 #1001 静默重写检测既有常量)才武装;年轻会话没有值得保卫的基线,薄无状态客户端保留 stale-baseline 救援与 learned-cost 校正路径。本地验证:issue767 12/12,e2e-image-billing + issue1916 17/17,全绿。我最初的替代方案(改写这 5 个测试的契约去钉 sticky-high)在该方案落地后弃用——它保住的是原测试契约,不需要改。
  • 修复 2(我的提交 049539d7):代码审查发现逃生阀 run 计数器比文档契约宽松两处:①unshaped 样本(单消息/未知计数)也累加 run——三个 B 族 spam 样本可预充计数器,使一个 shaped 低值样本以「偷来的第 3」放行;②被放行的样本(向上/margin 内/非 usage provenance)不复位 run——准入前的陈旧 run 会存活到下一次 drop 提前触发阀。两处已修(unshaped 既不推进也不打断;每条放行路径都复位),严格收紧 = 已批准的 fail-safe 方向(最坏延迟阀一轮)。新增用例 M,两半都有牙(各自在修前代码上失败);补齐 header pin list 缺失的 J/M 条目。

结构化七问:

  1. 是什么问题:权威门机制本身正确,但有两类缺陷——(a)误伤年轻会话的 stale-baseline 救援(CI 红);(b)逃生阀 run 计数语义与文档契约不符(unshaped 预充 + 准入不复位)。
  2. 什么原因导致的:(a)门只认「请求级解释」,而 fixture 的外生陈旧在请求层面天然无解释,且年轻会话缺少「尚无可保卫主流」这一应然排除条件;(b)run 计数的递增/复位实现与文档「连续的 shaped 样本」定义不一致。
  3. 怎么修复的:(a)arm 阈值——低于 20 refs 不武装(e2a2413c,我验证成立);(b)计数器语义对齐契约、严格收紧至 fail-safe 方向 + 回归用例 M(049539d7)。
  4. 是否有回归问题:逐项审过既有行为,全部保持:nudge: no-usage recovery leaves stale reference after network or 5xx failure #1595 margin 内 re-anchor(case B)、「BUG」sideRequestGuard 会永久拦截进程内第三方插件的 LLM 调用,导致与MemOS冲突 #1110 arm 退役(D)、SSH 端口转发使用不同本地端口时 Web UI 被 Origin 校验拒绝 #1536 meter 切换(K + usage-observability 套件)、合法截断阀(G)、年轻会话救援(L + issue767/e2e-image 套件);隔离为 warn 日志非静默吞错(无 fail-fast→吞错漂移);config surface/持久化格式/wire shape 零变更;台账行仅对被隔离样本跳过(设计意图)。高危模式逐项过:无。
  5. 是否破坏缓存:否。每个被放行样本的写入行为不变;隔离仅跳过该样本的台账行(有意);重试/去重/游标策略未触碰。
  6. 是否改了设计方向:否。门仍在唯一 settle 汇合点 settleUsageReport;arm 阈值是「何处适用」的精化,非转向。
  7. 是否引入了新的配置:无。foreignSampleStreak 内存态(持久化排除);REWRITE_MIN_KNOWN_REFS 为既有内部常量。

行为变更披露(旧→新):

本地验证(定向;全量交 CI):issue1916 13/13 · usage-observability+cache-ledger 44/44 · issue767+e2e-image-billing 17/17 · typecheck clean · build OK。全量回归 + E2E(codex/registry/native lanes)等 049539d7 的 CI 结果。

判定:CI 转绿即可合并。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷

CI 全绿,收工判定确认。 049539d7 上全部检查通过:

无回归。PR #1938 head = 049539d7(两个提交:e2a2413c arm 阈值 + 049539d7 阀 run 语义对齐),可合并——按流程由人工合并。

唯一遗留:PR 正文残留 ② 的持久化事实错误(详见上一条回复的更正段),建议作者会话修订正文措辞后合并。

@ranxianglei ranxianglei changed the title fix(#1916): usage-grade 基线写入权威门——隔离并发同 session 小流样本 [PR] fix(#1916): usage-grade baseline write authority gate — isolate concurrent same-session small-stream samples | [PR] fix(#1916): usage-grade 基线写入权威门——隔离并发同 session 小流样本 Oct 16, 2026
ework-agent added 2 commits October 16, 2026 14:11
…rent same-session streams

Concurrent request families sharing one session id let a small foreign
stream's usage report clobber the main stream's lastInputTokens baseline
(incident: 251655 -> 69419), firing #1595 re-anchor and poisoning every
downstream consumer (nudge timing, preflight floor, window self-heal, cache
ledger) before a degenerate fold misread the poisoned denominator (#1911).

settleUsageReport now consults admitUsageSample first: a large unexplained
drop below a usage-grade baseline quarantines the sample (baseline, nudge
refs, ledger, seam forensics all untouched). The gate only arms once the
session has accumulated substantial history (>= REWRITE_MIN_KNOWN_REFS
known refs) — the clobber needs a resident main stream to displace, and
young sessions / thin stateless clients must keep their stale-baseline
rescue and learned-cost correction (e2e-image-billing). Explanations that
open the gate: non-usage provenance baselines, upward / within-interval
samples, this-request folds (request-scoped postFold — session-scoped fold
flags are unsafe under concurrency), client compaction boundaries
(single-use, multi-message shaped only), meter switches (#1536
wire/upstream/model identity change = incomparable meters), and an escape
valve (3 consecutive low samples from conversation-shaped requests, >= 10
msgs). Single-message foreign samples can never move the baseline down.
…ed contract

The valve run counter drifted looser than its documented contract in two ways:

1. Unshaped samples (single-message / unknown count) incremented the run even
   though only shaped samples can admit through the valve — three B-family
   spam samples pre-charged the counter so a single shaped low sample was
   admitted at 'count 3' it never earned. Now unshaped samples neither
   advance nor break the run.
2. Admitted samples (upward / within-margin / non-usage provenance) did not
   reset the run, so a stale pre-admission run survived into the next drop
   and could fire the valve early. Every admission path now resets.

Both changes are strictly tighter (the approved fail-safe direction): worst
case delays an escape-valve admission by one honest cycle. New case M pins
both halves with teeth — each half fails on the pre-fix code (stolen streak
admission at 88k; stale-run valve admission at 80k). Completes the stale
header pin list (J, M).

Builds on e2a2413 (arm threshold). Verified locally: issue1916 13/13,
usage-observability+cache-ledger 44/44, issue767+e2e-image-billing 17/17,
typecheck clean, build OK.
@ranxianglei
ranxianglei force-pushed the 2026-10-02_usage-authority-gate branch from 049539d to 8490519 Compare October 16, 2026 06:14
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

冲突已解决并推送。分支已 rebase 到当前 master(745be9f),最终 head 8490519a5,仍是 2 个提交。改动内容与原 PR 逐条一致——只是位置随 master 的重构移动了,外加 2 行测试夹具的类型适配。

冲突原因(全部来自 master 在 PR 分出后的结构性重构,不在门禁逻辑本身):

  1. forward() 整体从 src/server.ts 搬到了 src/server/relay.ts —— PR 原来对 forward() 的 4 处编辑在两行调用参数、runCompressLoop 上下文、非流式 settle 调用上,rebase 后丢失,已手工重新应用到 relay.ts 对应位置;
  2. master 移除了 absorb 工具(activeAbsorbToolName)—— loop/core.ts 的折叠检测条件现在只看 compress 结果,语义不变(absorb 已不存在);
  3. master 移除了 plugin.ts 日志里的 imageUsageSuffix —— 日志行保留 master 版本,只追加了 PR 的 settle 调用参数;
  4. master 给 settleUsageReport 加了第 3 参 localTextEstimate,给 Session/SessionStats 加了新字段 —— 签名取两边并集,PR 的参数接在 master 之后。

解决原则:双方意图取并集,不改任何语义。门禁逻辑(admitUsageSample)、streak 语义、preflightFolded 标记、请求级解释通道与已审过的 049539d 版本一致,只有调用点随 master 重构挪位。

一处必要附带修改:master 给 Session 加了必填字段(pendingRetrievals)、给 stats 加了 6 个必填计数(retrieveCalls/retrieveHits/retrieveMisses/storedBytes/storeBytesSaved/rangeRestores),测试文件 makeSession() 夹具补上这些零值字段——纯类型适配,断言一个没动。已 autosquash 进 commit 1,历史保持 2 个干净提交。

验证(本地定向,全量交给 CI):

  • typecheck clean,build OK(dist-import-annotations OK)
  • 定向测试 85/85 过:issue1916-baseline-authority(PR 自带,A–L 全场景)、host-usage-postfold、cache-ledger、issue857-image-baseline、issue1547-nonstream-cache-ledger
  • e2e-image-billing(hermetic 无门控 lane)5/5 过

八问:

  1. 是什么问题:PR 分支落后 master 产生合并冲突,处于 dirty 状态无法合并。
  2. 什么原因导致的:master 后续做了结构性重构(forward() 搬家、移除 absorb 工具、日志瘦身、settle/Session 加参),与 PR 触碰的文件和行重叠。
  3. 影响范围与严重程度:只影响本 PR 的可合并性;对 master 及任何用户行为零影响。
  4. 怎么修复的:rebase 到 master,把 PR 的编辑按新布局手工重放到 relay.ts;签名冲突取意图并集;测试夹具对齐 master 新类型。
  5. 是否有回归问题:无。与 master 的最终 diff 就是本 PR 的变更集本身,我对照 rebase 前版本逐 hunk 核对过:门禁/streak/postFold 语义未变;master 自己的重构(absorb 移除等)按原样吸收,与本 PR 无关。
  6. 是否破坏缓存:不涉及——未触碰缓存、重试、增量游标、去重键策略。
  7. 是否改了设计方向:不涉及——无架构/边界/数据流转向变化。
  8. 是否引入了新的配置:不涉及——无新 env/config/默认值。

判定:分支恢复干净,等 CI 全量把关;CI 绿即可合并。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

1 participant