Skip to content

fix: 补 writeNow 并发写不丢更新的回归测试(竞态已由内核写链防住);增量转发丢弃未知请求参数时告警一次 (#3406 第 5/6 项) - #3414

Merged
ranxianglei merged 1 commit into
masterfrom
fix/persist-and-params
Oct 17, 2026
Merged

ranxianglei merged 1 commit into
masterfrom
fix/persist-and-params

Conversation

@ranxianglei

Copy link
Copy Markdown
Owner

ai: zhipuai-lb/glm-5.3

Fixes #3406 第 5/6 项

第 5 项:writeNow 并发写会不会丢更新?

现象(清单描述): 同一 session 并发触发立即写(比如压缩完成和用户消息落地同时发生),可能互相覆盖,后写者用旧状态盖掉新状态。

结论:查证后这个竞态在当前代码里不存在,清单要求的"串行化"机制已经在内核存储层实现了。 本 PR 不改机制,只补回归测试和证据说明,防止将来有人把它改坏。

证据(代码级):

  • kernel/src/persist/store.ts:173 的 writeChains 已经按 session id 维护写入链;writeNow(kernel/src/persist/store.ts:225-244)把每次写排进 prev.catch(() => {}).then(() => this.writeInner(id, build)) 的 promise 链 —— 同一 session 的立即写天然串行,某次失败也不会断链。
  • 关键点:构造记录的 build() 是延迟到链执行时才运行的。src/persist.ts:1623 的 guardedBuild 返回闭包,在链轮到自己时才对当时的活状态跑 buildRecord(session, stamp)。所以每个排队的写持久化的是"轮到它那一刻"的状态,后写的提交永远不会比它之前任何变更更旧;两次并发写之间发生的变更会同时出现在两次提交里。
  • src/persist.ts 里 writeNow 的 writerOff 分支(约 :1771-1781)从判断到构造完全同步,中间无 await,并发调用方无法插队。
  • flushSync 与异步写的交错由 commitSeq 栅栏挡住(kernel/src/persist/store.ts:476-480):过期的在途载荷永远不会在新提交之后落地。

改动: src/persist.ts writeNow 的文档注释从两行扩为完整证据链(含"不要在此处提前快照记录,否则会引入丢更新"),新增 tests/issue3406-writenow-concurrent.test.ts 两个回归测试。

测试证据:

第 6 项:增量转发丢弃未知请求参数,现在会告警

现象: 请求重建路径的 REQUEST_PARAM_KEYS allowlist 只转发白名单内的顶层请求参数,用户新配的采样参数(如 seed、frequency_penalty)或供应商特有参数会被静默丢弃,一条日志都没有,排查时只能靠猜。

丢弃发生在哪一层(查证结果,两层都修了):

  1. 服务端 lane(src/incremental-lane.ts,权威执行层):组装转发 body 时只拷贝 allowlist 内的键 —— 直连 lane 的客户端在这里丢参。
  2. 插件端 helper(src/agent/incremental-client.ts,buildBody):4 个内置插件(dsh/pi/omp/opencode)都把完整原始 anthropic body 作为 request 传入,helper 在客户端就先把未知键滤掉了 —— 这些键根本到不了 lane,只修 lane 层对这些用户永远不会告警。

修法(两层镜像实现): 每层组装转发请求时检查 request 里不在 allowlist 的键,有则 warn 一次,列出键名(只列键名、不打印值,避免泄漏秘密);messages/system 是 lane 自己从 payload 顶层组装的属主键,不算丢弃,不告警。

  • lane 层经现有 log("warn", ...): [incremental] <会话>: request parameter(s) not in the forward allowlist were dropped: seed, vendor_extra — extend REQUEST_PARAM_KEYS (src/incremental-lane.ts) if they must reach the upstream (#3406)
  • helper 层在宿主进程内 console.error(与 src/agent/* 邻接模块一致): [bili-incremental] <会话>: request parameter(s) outside the incremental allowlist are not sent: ...
  • allowlist 转发行为本身一字未动(未知键照样丢,只是现在说出来了)。

防刷屏(去重策略): 同一会话同一键只告警一次;全局维护 (会话, 键) 对计数,超过 4096 对时清空去重表 —— 下个周期同键会再各警一次(低频重警),内存有界。两个模块的 __reset*ForTests 钩子同步清理新状态。

测试证据(tests/issue3406-param-drop-warn.test.ts,2 个测试全过):

  • lane 层(完整起服 + mock 上游 + 日志捕获):带 seed/vendor_extra 的请求 → 200,上游收到的 body 有 allowlist 内的 temperature、没有 seed/vendor_extra(丢弃行为不变),恰好一条 warn 且键名都在;同会话同键第二次 → 不再警;新键 frequency_penalty → 再警一条只列新键;只含 messages/system 的会话 → 零告警(属主键)。
  • helper 层(console.error 桩捕获):带未知键规划增量回合 → plan.body 里没有该键,恰好一条 console.error 列出键名且不把 messages/system 列为丢弃;同会话同键去重;另一会话的 response_format 独立告警一次。

其他

  • 不涉及配置面/环境变量/持久化格式/线协议语义(仅加日志),kernel/ 未改动(只读了内核文件取证)。
  • 本地验证:npx tsc --noEmit 0 错误;针对性套件 36/36 通过(tests/issue3406-*.test.ts、tests/incremental-lane.test.ts、tests/incremental-client-recovery.test.ts、tests/omp-native-incremental.test.ts、tests/opencode-incremental.test.ts)。全量回归以远端 CI test lanes 为准。
  • 另注:修复过程中确认 omp 插件把 prompt_cache_key 用作会话 id 时,该参数在增量路径确实不会被转发到上游 —— 现在的告警会如实提示这一点(这正是第 6 项要的可见性),是否把 prompt_cache_key 加入 allowlist 留给后续决策。

@github-actions

github-actions Bot commented Oct 16, 2026 •

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: fix/persist-and-params (eaf457b)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.4045-pr.3414.9120b43

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr3414.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

查重: 不重复。本 PR 对应 #3406 清单第 5/6 项;在途的 #3419(第 2/4 项)、#3418(第 9/11 项)、#3413(第 7/8/10 项)均为同清单其他条目,无重叠——无第二个 PR 声称第 5/6 项。

开始独立审核 PR #3414(head fix/persist-and-params,单 commit 66b2846ed,5 文件 +321/-2):

  1. 逐项对照代码核实 PR 描述里的证据链(writeNow 串行化、guardedBuild 延迟构造、commitSeq 栅栏、两层 allowlist 告警);
  2. 回归清点:incremental-lane / incremental-client / persist 触碰路径的既有行为是否被破坏;
  3. 本地跑针对性套件,全量以远端 CI 为准。

结论稍后按结构化八问给出。

…mental forwarding drops unknown request params (#3406 items 5+6)
@ranxianglei
ranxianglei force-pushed the fix/persist-and-params branch from 66b2846 to eaf457b Compare October 16, 2026 16:56
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

独立审核完成(结论独立产出,未复用 issue 侧表述):可合。

审核过程:先 rebase 到最新 master 再审(旧 head 66b2846ed → 新 head eaf457b39,干净无冲突);本地 typecheck 0 错误、针对性套件 22/22 绿;push 后远端 CI 全绿(test ubuntu/windows × node22/24 各 shard + static-gates/kernel-guard/lane-guard/config-surface-guard/docs-sync/test-import-graph 等全 success,e2e lane 按文件列表未触发照常 skip)。第 5/6 项的代码级证据逐条对照源码独立验证过,不是只读 PR 描述。

结构化八问:

  1. 是什么问题:两件事——第 5 项问「同一 session 并发立即写(writeNow)会不会互相覆盖丢更新」;第 6 项是增量转发丢弃白名单外的顶层请求参数(如用户配的 seed、供应商特有参数)时一条日志都没有。
  2. 什么原因导致的:第 5 项查证为当前代码里不存在该竞态——内核存储层已有按 session id 的 promise 写链(writeChains,kernel/src/persist/store.ts:173;writeNow store.ts:225-242 每次写排进 prev.catch(()=>{}).then(...) 链,失败不断链),且 guardedBuild(src/persist.ts:1623)把记录构造延迟到链执行时对当时的活状态运行,后写不可能比先前的变更更旧;另有 commitSeq 栅栏挡住过期在途载荷。第 6 项的根因是 allowlist 转发设计本身只拷白名单键、但两层都没有告知机制:服务端 lane 组装转发体时只拷白名单键(src/incremental-lane.ts:392);插件端 helper 在客户端先把未知键滤掉(src/agent/incremental-client.ts buildBody)——插件流量里的这些键根本到不了 lane,只修一层则那层用户永远静默。
  3. 影响范围与严重程度:第 5 项:无用户影响,纯回归钉 + 文档注释扩写,防将来改坏该机制。第 6 项:可见性缺口——之前配了白名单外采样/供应商参数的用户参数被静默丢弃、排查靠猜;现在每会话每键一次告警列出键名。新增行为仅日志输出:lane 走现有 log("warn"),helper 走宿主进程内 console.error(与 src/agent/* 邻接模块惯例一致);去重为同(会话,键)只警一次,全局 (会话,键) 对计数超 4096 清空去重表(低频重警,内存有界)。一个值得点名的副作用:omp 用 prompt_cache_key 作会话 id,该参数不在白名单,omp 增量用户今后会看到一条此类告警——这正是本项要的可见性,是否入 allowlist 留给后续决策(PR 未动 allowlist)。
  4. 怎么修复的:转发行为一字未动(未知键照样丢,只是说出来了):两层镜像 warn-once,只列键名不打印值(避免泄漏秘密),messages/system 属 lane 自组装的属主键不算丢弃不告警;第 5 项不加任何机制代码,只加 2 个回归测试 + 把 writeNow 文档注释扩成完整证据链(含「不要在此处提前快照记录」警示)。
  5. 是否有回归问题:逐项审过既有行为——lane 转发组装(唯一站点 :392,拷贝逻辑不变)/ helper buildBody(allowlist 过滤不变)/ persist.writeNow(纯注释,零代码改动)/ 4 个插件调用点(dsh/pi/omp/opencode 均传原始完整 body,未混入内部传输键 → 无误报告警)/ __reset*ForTests 钩子(同步清理新状态)——全部保持。无 fail-fast 变吞错、无阈值/时序/输出格式漂移、无线协议语义变化。diff 整洁:单提交、5 文件 +321/-2,每行与本 PR 目的相关。热文件提示:姊妹 PR fix: 防并发进程互相覆盖会话文件(比对落盘指纹)+ 输出预算恢复不越过已验证上限 (#3406 第2/4项) #3419 也改 src/persist.ts,本 PR 对该文件的改动仅是 writeNow 内的 JSDoc 块,语义独立,两者先后合并至多产生琐碎文本冲突。
  6. 是否破坏缓存:不涉及(无缓存/重试/增量游标/去重键变更;4096 对预算是新加的有界去重表,与既有缓存无关)。
  7. 是否改了设计方向:无方向变化——纯可观测性增强;prompt_cache_key 是否入 allowlist 明确留待后续决策。
  8. 是否引入新配置:无新 env/config/默认值。

测试有效性:两个新测试文件断言有牙——并发双写测试断言全新 SessionStore.loadSync 重载后 UPDATE-ONE/UPDATE-TWO 同时存在(钉住丢更新结果,能抓住静默失败或提前快照+并行提交的回归);参数丢弃测试断言上游收到的精确键集(有 temperature、无 seed/vendor_extra)、告警恰好一条、去重、新键再警只列新键、属主键零告警、跨会话隔离。一点诚实备注:并发测试钉的是可观测结果,机制级证明依赖代码证据(写链 + 延迟构造 + 栅栏)——PR 自己也如实说明了这一点,可接受。

结论:可合。 单模块 fix + 回归测试,不触 kernel/config/wire/持久化格式,rebase 后 head 上 CI 全绿。合并动作在你。

@github-actions

Copy link
Copy Markdown
Contributor

📦 Merged Build Published

This merge to master was published as 0.0.502-master.1cc8936 (rolling master tag).

npm install -g billion-context@0.0.502-master.1cc8936  # this exact build
npm install -g billion-context@master  # always the newest merged build

npm view billion-context@master prints the current version at any time.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

区间审查(#3331)残留 11 项中小问题集中修:守卫旋钮、存储竞态、静默丢参、CI 触发残角等

1 participant