Repository navigation
fix: 补 writeNow 并发写不丢更新的回归测试(竞态已由内核写链防住);增量转发丢弃未知请求参数时告警一次 (#3406 第 5/6 项) - #3414
Conversation
📦 Built Package ArtifactBranch: Option A — Install this exact build (recommended)npm install -g billion-context@0.0.4045-pr.3414.9120b43This exact version is immutable and reproducible. The rolling Option B — Download artifact
tar xzf billion-context-pr3414.tgz
npm install -g packageInstall instructions are refreshed on each push. |
(ai: vllm-qwen/qwen3.8-27b) 查重: 不重复。本 PR 对应 #3406 清单第 5/6 项;在途的 #3419(第 2/4 项)、#3418(第 9/11 项)、#3413(第 7/8/10 项)均为同清单其他条目,无重叠——无第二个 PR 声称第 5/6 项。 开始独立审核 PR #3414(head
结论稍后按结构化八问给出。 |
…mental forwarding drops unknown request params (#3406 items 5+6)
66b2846 to
eaf457b
Compare
(ai: vllm-qwen/qwen3.8-27b) 独立审核完成(结论独立产出,未复用 issue 侧表述):可合。 审核过程:先 rebase 到最新 master 再审(旧 head 结构化八问:
测试有效性:两个新测试文件断言有牙——并发双写测试断言全新 结论:可合。 单模块 fix + 回归测试,不触 kernel/config/wire/持久化格式,rebase 后 head 上 CI 全绿。合并动作在你。 |
📦 Merged Build PublishedThis merge to master was published as npm install -g billion-context@0.0.502-master.1cc8936 # this exact build
npm install -g billion-context@master # always the newest merged build
|
ai: zhipuai-lb/glm-5.3
Fixes #3406 第 5/6 项
第 5 项:writeNow 并发写会不会丢更新?
现象(清单描述): 同一 session 并发触发立即写(比如压缩完成和用户消息落地同时发生),可能互相覆盖,后写者用旧状态盖掉新状态。
结论:查证后这个竞态在当前代码里不存在,清单要求的"串行化"机制已经在内核存储层实现了。 本 PR 不改机制,只补回归测试和证据说明,防止将来有人把它改坏。
证据(代码级):
kernel/src/persist/store.ts:173的writeChains已经按 session id 维护写入链;writeNow(kernel/src/persist/store.ts:225-244)把每次写排进prev.catch(() => {}).then(() => this.writeInner(id, build))的 promise 链 —— 同一 session 的立即写天然串行,某次失败也不会断链。build()是延迟到链执行时才运行的。src/persist.ts:1623的guardedBuild返回闭包,在链轮到自己时才对当时的活状态跑buildRecord(session, stamp)。所以每个排队的写持久化的是"轮到它那一刻"的状态,后写的提交永远不会比它之前任何变更更旧;两次并发写之间发生的变更会同时出现在两次提交里。src/persist.ts里writeNow的 writerOff 分支(约 :1771-1781)从判断到构造完全同步,中间无 await,并发调用方无法插队。flushSync与异步写的交错由 commitSeq 栅栏挡住(kernel/src/persist/store.ts:476-480):过期的在途载荷永远不会在新提交之后落地。改动:
src/persist.tswriteNow的文档注释从两行扩为完整证据链(含"不要在此处提前快照记录,否则会引入丢更新"),新增tests/issue3406-writenow-concurrent.test.ts两个回归测试。测试证据:
p1 = store.writeNow(s)不等待,同步追加 UPDATE-TWO 消息,p2 = store.writeNow(s),都等待后用全新 SessionStoreloadSync重载 —— 磁盘记录同时包含 UPDATE-ONE 和 UPDATE-TWO。两个测试在未改动的代码上就通过(先跑过验证),证明现有机制已防住。lastMessagesFolded=true)再追加消息、再写 —— 折叠视图上的追加同样落盘(覆盖 Memory plane (R3): stop keeping compressed originals, CCR and snapshots fully in RAM now that the unified store has them — measure first, then lazy-load #3050 ②a 路径)。第 6 项:增量转发丢弃未知请求参数,现在会告警
现象: 请求重建路径的
REQUEST_PARAM_KEYSallowlist 只转发白名单内的顶层请求参数,用户新配的采样参数(如seed、frequency_penalty)或供应商特有参数会被静默丢弃,一条日志都没有,排查时只能靠猜。丢弃发生在哪一层(查证结果,两层都修了):
src/incremental-lane.ts,权威执行层):组装转发 body 时只拷贝 allowlist 内的键 —— 直连 lane 的客户端在这里丢参。src/agent/incremental-client.ts,buildBody):4 个内置插件(dsh/pi/omp/opencode)都把完整原始 anthropic body 作为request传入,helper 在客户端就先把未知键滤掉了 —— 这些键根本到不了 lane,只修 lane 层对这些用户永远不会告警。修法(两层镜像实现): 每层组装转发请求时检查
request里不在 allowlist 的键,有则 warn 一次,列出键名(只列键名、不打印值,避免泄漏秘密);messages/system是 lane 自己从 payload 顶层组装的属主键,不算丢弃,不告警。log("warn", ...):[incremental] <会话>: request parameter(s) not in the forward allowlist were dropped: seed, vendor_extra — extend REQUEST_PARAM_KEYS (src/incremental-lane.ts) if they must reach the upstream (#3406)console.error(与src/agent/*邻接模块一致):[bili-incremental] <会话>: request parameter(s) outside the incremental allowlist are not sent: ...防刷屏(去重策略): 同一会话同一键只告警一次;全局维护 (会话, 键) 对计数,超过 4096 对时清空去重表 —— 下个周期同键会再各警一次(低频重警),内存有界。两个模块的
__reset*ForTests钩子同步清理新状态。测试证据(
tests/issue3406-param-drop-warn.test.ts,2 个测试全过):seed/vendor_extra的请求 → 200,上游收到的 body 有 allowlist 内的temperature、没有seed/vendor_extra(丢弃行为不变),恰好一条 warn 且键名都在;同会话同键第二次 → 不再警;新键frequency_penalty→ 再警一条只列新键;只含messages/system的会话 → 零告警(属主键)。messages/system列为丢弃;同会话同键去重;另一会话的response_format独立告警一次。其他
kernel/未改动(只读了内核文件取证)。npx tsc --noEmit0 错误;针对性套件 36/36 通过(tests/issue3406-*.test.ts、tests/incremental-lane.test.ts、tests/incremental-client-recovery.test.ts、tests/omp-native-incremental.test.ts、tests/opencode-incremental.test.ts)。全量回归以远端 CItestlanes 为准。prompt_cache_key用作会话 id 时,该参数在增量路径确实不会被转发到上游 —— 现在的告警会如实提示这一点(这正是第 6 项要的可见性),是否把prompt_cache_key加入 allowlist 留给后续决策。