Repository navigation
fix: 防并发进程互相覆盖会话文件(比对落盘指纹)+ 输出预算恢复不越过已验证上限 (#3406 第2/4项) - #3419
Conversation
📦 Built Package ArtifactBranch: Option A — Install this exact build (recommended)npm install -g billion-context@0.0.4090-pr.3419.9c5c13bThis exact version is immutable and reproducible. The rolling Option B — Download artifact
tar xzf billion-context-pr3419.tgz
npm install -g packageInstall instructions are refreshed on each push. |
(ai: vllm-qwen/qwen3.8-27b) 查重:不重复。 本 PR 是 #3406 清单的第 2/4 项;同清单的兄弟 PR 各管各的项——#3413(第 7/8/10 项 CI)、#3414(第 5/6 项)、#3418(第 9/11 项 kernel 观测)。没有其他 open PR 修「ownership 宽限窗内并发覆盖会话文件」或「输出预算恢复越过已验证上限」这两个机制。一个注意点:#3414 也改了 评审进行中:正在逐段读 diff、跑定向测试(ownership/isolation 及相邻套件)、核对 PR 声明的既有行为保持项,并把分支 rebase 到最新 master(当前与 master 仅 CHANGELOG.md 一处冲突)。结论按八问体例随后回复。 |
…; output-restore floor respects proven budgets (#3406 items 2+4) Item 2 — the #3286 ownership fast path judged envelope ownership by a builtAtMs+1.5s grace window, so a sibling writing inside that window (legacy mode, sidecar disabled — never touches index.db) was adopted as ours and its envelope clobbered on the next save. The token now records the stat taken right after OUR write landed (size+mtime); the fast path fires only when the file still matches that stamp byte-for-byte. Unstamped tokens (debounced kernel-internal saves, restore-replica seeds, crash before stamping) always take the full read. Residual window shrinks from 1.5s to ~µs. Item 4 — restoreOutputBudget's no-ceiling branch raised a session's recorded high-water to OUTPUT_RESTORE_ABSOLUTE_FLOOR (32768); providers hard-capping maxOutputTokens below that reject the raised value outright (400). A high-water at/above the new trust line (4096, aligned with OUTPUT_CLAMP_MIN_OUTPUT) is the provider-accepted budget and is restored as-is, never raised above; missing/below-line high-waters keep the #3071 floor (born-starved, fork rattle, death-spiral decay chains). Item 3 (label resume vs background scan race, #3214) — NOT changed: no low-risk mutex exists without a persistence-format/index change (details in the PR body); deliberately stopped per the risk gate.
9d5d9dd to
b2fd30c
Compare
(ai: vllm-qwen/qwen3.8-27b) 结论先行:方向正确,item 4 的修复经逐路径核对完全成立;item 2 的竞态修法机制本身无异议,但发现一个未披露的性能回归:改完之后,#3049 建立的「保存时跳过全量读」快路径在每轮保存的主路径上彻底失效(实测:每次保存都全量读整文件,master 只有首轮读)。这等于对 >40 MiB 大会话悄悄退回 #3049 修掉的 ~320 ms/turn。这是可用性 vs 性能的取舍(#3128),我不替你拍板——选项在下方,等你定。分支已 rebase 到最新 master(唯一冲突 CHANGELOG 已解)、定向测试全绿、typecheck 干净,现在处于可合并状态(blocked = 等 CI)。 查重:不重复(首条回复已述:open issue/PR 均无覆盖第 2/4 项者;同清单并行 PR #3413/#3414/#3418 覆盖其他项,其中 #3414 也动 src/persist.ts(不同区域),后合入者需 rebase)。 结构化八问
选项对比(item 2 性能发现)
推荐:B 在本 PR 内做完(同一机制家族,保持一个闭环,不拆片);C 留作后续收敛目标。拍板后我可以立刻实现 B(含测试与本地定向验证)。 既有行为审计清单(②)
测试证据(本地定向跑;全量以远端 CI 为准)
收工判定:item 4 可直接合;item 2 待你在 A/B/C 中拍板(推荐 B,可在本 PR 内完成)。拍板后我继续;在此之前不动代码。 |
(ai: vllm-qwen/qwen3.8-27b) CI 状态补充(接上一条 review,状态更新非新结论):rebase 后的 head 分支现在处于完全干净可合并状态。待你上一条里的 A/B/C 拍板(item 2 性能发现);拍 B 的话我立刻在本 PR 内补章实现(含回归测试)。 |
…mped (#3406 item 2) Owner-directed follow-up to the review finding: the stamp only covered explicit writeNow/flushSync, so the per-turn markDirty -> scheduleSave path (kernel-internal debounce) never stamped and the #3049 fast path died on every debounced save. The debounce now lives in SessionStore (same coalescing/unref semantics as the kernel's); the firing write lands through store.writeNow and is stamped on success. flushSync supersedes the armed timer (kernel contract), flushAll drains host-pending builders before the kernel flush, cancelAll clears them, hasPending reports host timers. Two regression tests pin both sides: debounced saves collapse to the first full read, and a foreign write between debounced saves still forces the full read and survives.
(ai: vllm-qwen/qwen3.8-27b) 按你指定的修法改完并推送(commit 修法(与你的指示一致):防抖上移到宿主侧 结构化八问:
行为变更披露(旧值 → 新值):
测试:新增 2 条回归——① N 次连续防抖保存的全量读收敛为 1(修前代码上失败,已验证);② 两次防抖保存之间的外来写入仍强制全量读且不被覆盖(生产车道的竞态保护钉死)。 本地环境噪声声明:本环境 结论:你指出的唯一问题已按指定方案修复完毕,待 CI 6 个测试分片转绿即可进入人工评审/合并;结果出来我单独汇报。 |
(ai: vllm-qwen/qwen3.8-27b) CI 结果( 评审指出的唯一问题已按指定方案修复并经本地定向测试 + 远端 CI 双重验证。PR 分支现含 2 个 commit(原修复 + 宿主侧防抖修正),可进入人工评审/合并;按规则合并不由我执行。 |
📦 Merged Build PublishedThis merge to master was published as npm install -g billion-context@0.0.518-master.7efa991 # this exact build
npm install -g billion-context@master # always the newest merged build
|
ai: zhipuai-lb/glm-5.3
Fixes #3406 第 2、4 项;第 3 项经分析后停手不改(理由见下,按清单的风险门槛执行)。kernel/ 未触碰;无 config 表面变更;无 version 变更。
第 2 项:ownership fast-path 的 1.5 秒窗口会让并发进程互相覆盖会话文件(#3286/#3049)
现象:两个 bili 进程共享同一 sessions 目录、其中一个跑在 legacy 模式(或 sidecar 被 3-strike 禁用)时,它在另一个进程写入后 1.5 秒内写的新 envelope 会被对方下一次保存直接覆盖——新状态丢一轮。
根因:
src/persist.ts的ownershipFastPath()用stat.mtimeMs > builtAtMs + 1_500判定"文件还是我的"。builtAtMs是构建时间(写盘之前),1.5s 宽限窗本意是盖住自己的写延迟,但窗口内任何不经过共享 index.db 的写入(legacy 兄弟进程、手工编辑)都不会移动 row counters,三项检查全过 → 跳过全量读 → 直接覆盖。修法(改为比文件指纹,不再依赖时间窗):
{size, mtimeMs}盖章进 ownership token(stampOwnWrite)——三条落地路径全覆盖:显式writeNow(resolve)、flushSync(返回 ok)、宿主自持的防抖保存(防抖到点经store.writeNow落地后);OWN_COMMIT_GRACE_MS。未盖章的 token(restore-replica 种子、盖章前崩溃)一律视为"未证明"走全量读——安全方向的保守化;noteOwnCommit跨重建保留旧章:writerOff/index-only 模式的保存不写 envelope 文件,旧章仍然有效,该模式下的 fast-path 得以保留。残余窗口:从 1.5 秒缩到写盘 resolve 与盖章 statSync 之间的微秒级;内容逐字节相同的外来写入无可观察影响。
测试:
tests/persist-guard-ownership.test.ts新增回归——外来写入落在旧宽限窗内(无 sleep、计数器不动)时,fast-path 不得触发(全量读计数 +1)、盘上保留兄弟进程的较新 envelope(在 master 代码上该测试失败,已验证);原 foreign-write 测试去掉 1.7s sleep(机制已不依赖时间),注释同步更新。6/6 绿。评审轮补充(owner 指定修法,commit 05ac755):初版只给显式
writeNow/flushSync盖章——每回合主路径(markDirty → scheduleSave)走的是内核内部防抖,宿主观察不到它自己的落盘,token 永远盖不上章,#3049 fast-path 在每个防抖保存上失效(探针实证:初版分支 5 次连续防抖保存 = 5 次全量读,master = 1 次)。按 owner 指示修正:防抖移到宿主侧SessionStore(合并/unref 语义与内核一致),到点经store.writeNow落地并成功即盖章;flushSync照旧取消挂起定时器,flushAll先排空宿主侧待写构建再刷内核侧(关店不丢数据),cancelAll/hasPending同步覆盖宿主定时器。残余窗口不变(微秒级)。新增 2 条回归:N 次连续防抖保存的全量读收敛为 1(修前代码上失败);两次防抖保存之间的外来写入仍强制全量读且不被覆盖。第 4 项:输出预算恢复抬到 32768,硬上限更低的 provider 直接拒绝请求(src/server/side-request.ts)
现象:provider 硬校验
maxOutputTokens且上限低于 32768(如 8192)时,会话本以 8000 正常运行;客户端预算饿死(≤200)后 bili 恢复成 32768 → provider 返回 400,会话从"能用"变"报错"。根因:
restoreOutputBudget的无 ceiling 分支if (target === undefined || FLOOR > target) target = 32768会把已记录的 high-water(provider 曾按原值接受过的预算)也抬到 32K。ceiling 已知时(运行时信息/launcher/配置/registry)走的是 ceiling 分支、本来就没问题;坏的是四个来源全空、floor 盲抬。修法(floor 只在下限缺失/过低时抬):新增
OUTPUT_HIGH_WATER_TRUST_MIN = 4096(与budget.ts的OUTPUT_CLAMP_MIN_OUTPUT对齐——仓库既有的"还能产出可用回复的最小预算"线,dsh 预设也用 4096):取舍说明:#3071 的死亡螺旋测试(252 → 32768)不受影响;被 #3406 显式取代的只有"越过已验证合法预算上抬"这一种情况(可用性优先于理想值,#3128)。未复用
OUTPUT_CLAMP_MIN_OUTPUT常量本体是因为budget.ts已 importside-request.ts,反向引用会成环;数值与出处已注释关联。测试:
tests/side-request-isolation.test.ts新增硬上限场景回归(healthy 8000 → starve → 恢复 8000 而非 32768;trust 线上下边界各一例;49152 高于 floor 原样);3 处钉住旧行为的断言按 #3406 语义更新(8000 不再抬、trust 线下 234/583 仍抬)。28/28 绿;相邻 side-lane/fix-1897/websearch 套件同绿。第 3 项:unified boot 只解析最新窗口,label resume 与后台扫描并发开出新会话(#3214/#3199)——停手不改
**结论:找不到低风险互斥方案,不实现。**关键事实(均已核实到代码):
seedIndexedAliases覆盖),近期会话都在窗口内、不受影响——受影响面本来就窄;loadSync的 alias 未被扫描到(文件在窗口外)→ 返回 null →createSession(label)开新空会话,旧文件成孤儿(新会话保存文件名不同,连文件系统层都无法兜底);loadSync是同步的、存储层无锁;建议(按优先级,留待 owner 决策):
评审请求与自查
npx tsc --noEmit0 错误;全量回归以远端 CI test lanes 为准;tests/persist-rollback-guard.test.ts与tests/issue3157-persist-durability.test.ts在未改动的 master 基线上同样失败(本地环境噪声,已验证与本 PR 无关)。本评审环境另有tests/proxy-persist.test.ts两条目录计数断言在未改动的分支基线上同样失败(环境噪声,基线对照已验证与本 PR 无关,远端 CI 该套件绿)。