Skip to content

fix: wait out slow live-child proxy starts and self-heal dsh spawn-mode boot failures in-process (#2187) - #2194

Merged
ranxianglei merged 1 commit into
masterfrom
2026-10-05_spawn-slow-start-retry
Oct 6, 2026
Merged

ranxianglei merged 1 commit into
masterfrom
2026-10-05_spawn-slow-start-retry

Conversation

@ranxianglei

Copy link
Copy Markdown
Owner

Closes #2187

问题

Windows/dsh 宿主重启时代理冷启动 30–45s,超过一次性 SPAWN_WAIT_MS(20s) 预算 → bootstrap 抛错;dsh 插件侧无任何进程内重试 → /bili/origin 恒为 null、设置面板永久「未绑定」、整场会话模型流量直连(压缩失效)。

修复(三层,同一故障域)

  1. src/launcher.ts:存活子进程的等待从一次性 20s 扩为 SPAWN_BUDGET_MS = 20s + 40s grace(共 60s),覆盖实测 26–45s 的慢启动包络;越过初始窗口时打一条一次性日志(诊断锚点)。跨进程等待者(bug: cross-process startup-window race — two concurrent launches each spawn a proxy (double writers over one sessions dir) #707 starter marker)同步使用同一预算——否则它会在 20s 处放弃并对仍在启动的子进程二次 spawn。STARTING_MARKER_TTL_MS 随之 50s→90s。子进程退出/出错仍快速失败(路径未动)。
  2. src/agent/dsh-native.ts:apply() 在 plan 阶段即调用一次 maybeRetry(ctx)——这是本 issue 的核心缺陷:重试机制(dsh中工具会突然消失 #2082 recovery timer + base-less respawn 重放)存在但不可达:headersFor 只在 origin 解析后才会被咨询、/acp 在 base-less 时提前返回、定时器又只能在 maybeRetry 内部武装 → 启动失败后零流量 = 永不自愈。happy path 经 single-flight 并入已在跑的 bootstrap(不会二次 spawn);失败 path 由 timer 每 RETRY_INTERVAL_MS(10s) 重放直到代理落地。
  3. src/agent/dsh-native-client.ts:面板轮询在 10×3s 快速阶段后不再永久停摆,改为 10s/次慢速阶段持续探测直至 origin 到达或页面卸载(服务端后台自愈落地后面板自动升级,无需手点 /acp)。

行为变更披露(旧值→新值+原因)

项 旧 新 原因
launcher 对存活子进程的总等待(所有 lane) 20s 60s(20s+40s grace) 实测 Windows spawn-window 启动 26–45s,20s 误判为失败
跨进程 starter 等待 20s 60s 与 starter 自身预算对齐,防双 spawn
starting marker TTL 50s 90s 覆盖新预算
dsh spawn-mode 启动失败后 永久降级(整进程一次尝试) 每 10s 进程内重试至成功 原重试机制存在但不可达(见上)
设置面板 origin 轮询 10 次×3s 后永久停摆 之后 10s/次持续探测 配合服务端后台自愈自动恢复显示

不变式保持:子进程退出/错误仍快速失败;attach 模式行为不变;无新增配置面(env/config/CLI 均无改动)。

测试

  • 新增 tests/issue2187-launcher-slow-start.test.ts:假时钟下 t≈26s/t≈45s 落地的存活子进程在扩展预算内 resolve;永不健康 → 消耗完整 60s 才报错;跨进程等待者在 t≈45s attach 而非双 spawn。
  • 新增 tests/issue2187-dsh-spawn-retry.test.ts:两次启动失败后由 recovery timer 驱动第三次尝试落地并注册工具(零模型流量);持续失败时尝试次数持续增长(旧行为为整生命周期恰好 1 次)。
  • tests/dsh-settings-ui.test.ts:手动时钟验证快速阶段 9×3s 后进入 10s 慢速阶段且晚到的 origin 仍升级入口;慢速阶段卸载仍取消挂起定时器。
  • tests/launcher.test.ts:1936 过期 marker fixture 55s→95s(新 TTL 90s 之外)。
  • 本地定向全绿:新增 4 套件 + 全部触碰模块既有套件(launcher/dsh-native/native-intercept/opencode-* 等 11 个文件 416 tests)pass;typecheck clean。全局回归交给 CI。

config surface

不涉及——无新增/改名/改语义的配置字段。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 进入 PR review。这是语义变更级改动(启动时序常数 + dsh spawn 重试可达性 + 面板轮询),按 PR Review 规范走全套:① 审原 issue 方向 → ② 既有行为清单回归审查 → ③ 代码审查(逻辑/不变量/错误处理)→ ④ 测试有效性 → ⑤ diff 整洁度。结论按结构化七问给。开始拉分支核代码与 CI 状态。

@ranxianglei
ranxianglei force-pushed the 2026-10-05_spawn-slow-start-retry branch from c95e8d2 to 4cd1849 Compare October 5, 2026 16:18
@github-actions

github-actions Bot commented Oct 5, 2026

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: 2026-10-05_spawn-slow-start-retry (4cd1849)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.2261-pr.2194.9734190

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr2194.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 PR Review — #2194(fix: slow live-child proxy starts + in-process dsh spawn-mode self-heal,Closes #2187)

过程说明:分支原基于陈旧 master(落后 103 提交,mergeable: dirty;#2184/#2127 已触碰本 PR 的同一批文件)。已 rebase 到当前 master e5a0066de——冲突仅 tests/dsh-settings-ui.test.ts 一处(#2127 的 bundle-panel block 与本 PR 的两个慢速阶段 block 扩展同一个测试),按双方意图并集解决,两侧断言全部保留。review 期间发现另一并行会话已先行推送了等价 rebase(head 4cd1849ab):与我独立完成的 rebase 逐文件比对仅差一行测试标题措辞,其余树完全一致。未覆盖推送,改为直接在远端树上复验(见下)。当前 PR mergeable: clean。

验证证据(rebased head):

  • 本地定向:typecheck clean;10 个触及模块套件(launcher、launcher-plugin-mode、dsh-native、dsh-settings-ui、native-intercept±selfheal、issue2082-dsh-recovery、issue2101-dsh-reactivation、issue2187×2)394 tests:393 pass / 1 skip(既有)/ 0 fail;build 全绿。
  • 远端树唯一差异文件 tests/dsh-settings-ui.test.ts 在 4cd1849ab 上重跑 8/8 pass。
  • CI(4cd1849ab):21/21 check-runs 全绿——ubuntu/windows 22+24 单测全量、real codex/pi/dsh/opencode(含 V2 WS) e2e lanes、kernel-guard、lane-guard、version-guard、docs-sync。
  • 测试有效性:两个新套件断言有牙——假时钟 t=26s/45s 落地(旧 20s 预算必 reject,真回归钉);永不健康耗尽完整 60s 才报错且 spawnCalls===1(钉住「launcher 不自重试」边界);跨进程等待者 t≈45s attach 而非双 spawn(spawnImpl 被调用即 throw);重试套件以零模型流量证明第 3 次尝试落地并注册工具(旧行为整生命周期恰好 1 次)。
  • 小项核对:一次性慢启动日志用 console.error 与 launcher.ts 既有惯例一致(宿主侧模块,非 logger.ts 服务端模块,合规);tests/launcher.test.ts:1936 fixture 55s→95s 是 TTL 变更的必要连带修正;diff 干净,每行服务于本 issue。

结构化七问:

  1. 是什么问题:Windows/dsh 宿主重启时代理冷启动 30–45s,超过一次性 20s 预算导致 bootstrap 抛错;而 dsh spawn-mode 的进程内自愈机制存在但启动失败后零触发面,永久降级(面板恒「未绑定」、整场会话压缩失效)。
  2. 什么原因导致的:两层因果——表面是 SPAWN_WAIT_MS=20s 短于实测慢启动包络(26–45s);根因是 dsh中工具会突然消失 #2082 的 recovery timer/respawn 重放机制不可达:headersFor 只在 origin 解析后才被咨询(native-intercept.ts:757-767)、/acp 在 base-less 时提前返回(dsh-native.ts:607-612)、定时器又只能在 maybeRetry 内部自武装 → 失败后无流量即永不触发自愈。
  3. 怎么修复的:同一故障域三层——① launcher 对存活子进程等待扩为 60s 预算(20s+40s grace),跨进程 starter 等待同步对齐防双 spawn,退出/出错仍快速失败;② apply() 在 plan 阶段武装一次 maybeRetry,让既有重试机制可达(happy path 经 single-flight 并入在跑 bootstrap,不二次 spawn;失败 path 由 timer 每 10s 重放);③ 面板轮询快速阶段后转 10s 慢速阶段持续探测。
  4. 是否有回归问题:未发现回归。逐项清点既有行为:子进程退出/错误快速失败路径未动(代码级验证);attach 模式语义不变(plan.mode==="attach" 必带 origin,planNativeDsh:132-138),仅 manifest 抓取时机从「首次流量」前移到「插件加载」——attach 目标未就绪时多一条 transient ECONNREFUSED 日志(与旧行为同失败模式,仅更早);single-spawn 不变式经 singleFlight 语义验证成立(in-flight join、settlement 后 fresh start);阈值/时序漂移均已披露(见上表)。PR 表外两处隐含变化在此补记:错误消息文本 within 20000ms→within 60000ms(随预算自然变化);持续启动失败期间 bootstrap 错误每 10s 重记一条直至愈合(旧为整进程一次)——有界噪声,与 dsh中工具会突然消失 #2082 运行时死亡日志profile一致。
  5. 是否破坏缓存:不涉及——未触碰 prefix-cache/message-ref/去重键/kernel 任何路径(golden pin 未动,kernel-guard CI 绿)。
  6. 是否改了设计方向:否——修复是让既有 dsh中工具会突然消失 #2082 恢复机制可达,不引入新架构;install-lane/single-writer 契约不受影响。
  7. 是否引入了新的配置:无新增/改名/改语义配置面(测试引用的 BILI_DSH_RECOVERY_INTERVAL_MS/BILI_DSH_RETRY_INTERVAL_MS 均为既有 env var)。

判定:可合并(mergeable clean,CI 21/21 全绿,回归审查无拦截项)。合并操作留给人工执行。

@github-actions

github-actions Bot commented Oct 6, 2026

Copy link
Copy Markdown
Contributor

📦 Merged Build Published

This merge to master was published as 0.0.54-master.bae5eee (rolling master tag).

npm install -g billion-context@0.0.54-master.bae5eee  # this exact build
npm install -g billion-context@master  # always the newest merged build

npm view billion-context@master prints the current version at any time.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

1 participant