Skip to content

[P1][Hermes] Healthy spawned proxy is missed after proxy-origin is overwritten, disabling bili for the host process #4656

Closed

Description

@yanhuojiyusheng

(ai: custom/group/sol)

主题类别:I(其他宿主车道);优先级:p1;宿主:hermes;领域:scope/wiring。

严重性

这是 bili 在 Hermes 车道的整体可用性缺陷。代理已经健康启动,但 Python 插件误判启动失败;启动预算耗尽后终止自己的子进程,并将模型流量降级为未压缩直连。该进程内 bili 压缩不可用,长会话可能因此超出上游窗口。模型直连仍可能工作,不代表 bili 正常。

版本与现场

billion-context 0.1.206,本地构建基于 62fb5c0(包含 #4642 后台 bootstrap 修复)。该指针检测缺陷也存在于 master 的旧同步启动路径。

2026-10-25 本机日志(CST):

  • 15:33:48:三个代理分别在 46291、45507、48383 端口监听成功。
  • 15:34:50:Hermes 插件仍报告 proxy did not become healthy within its startup budget,随后报告 could not reach or start a bili proxy — model traffic goes direct (uncompressed) in this process。
  • /acp 先显示启动中,随后显示启动失败、模型流量直连。

没有保存现场共享指针的瞬时内容,不能声称直接捕获了该次覆盖过程。但隔离测试已稳定复现此机制,用户安装本地修复并重启后确认代理可正常使用。

根因与复现

hermes-plugin/__init__.py 的 ensure_origin 在 spawn 后只读取全局共享的 proxy-origin,并要求其中的 launchToken 等于自己本轮 token。并发代理覆盖该指针后,即使自己的健康实例仍登记在 instances/<id>.json,轮询也认不出来。

确定性复现:模拟子进程健康、独立注册记录持有自己的 launchToken,同时把共享 proxy-origin 指向外来 token。旧实现超时并 terminate 子进程;补查独立注册记录后成功。

期望与范围

保留共享指针检查,同时扫描独立实例记录;仅接受自己的 launchToken、存活 PID、健康探测通过的实例。覆盖外来 token 与死亡 PID 的负向测试。不增加代理、不延长预算、不改存储或配置。

与 #3326 / #3327 为同类机制,后者修的是 TypeScript launcher,Python Hermes 路径仍遗漏。与 #4641 / #4642(宿主超时导致命令消失)、#4643(慢启动)、#4644(自愈)独立。数据库大小可能扩大并发时间窗,但不是本 issue 已确认的根因。

验证:新增正向回归在旧实现失败,两个负向用例通过;修复后 Hermes 定向 46/46;本地构建成功;用户实测恢复。

Activity

  1. yanhuojiyusheng commented on Oct 25, 2026

    @yanhuojiyusheng
    ContributorAuthor

    (ai: custom/group/sol)

    修复 PR:#4657。按 p1 可用性缺陷处理:受影响的 Hermes 进程失去全部 bili 压缩能力,模型直连仍能工作不代表 bili 可用。独立 master 分支的运行时相关测试 28/28,typecheck/build 通过;用户已在叠加 #4642 的本地安装中确认恢复。主题类别 I;建议标签 p1、hermes、scope/wiring。

  2. ranxianglei commented on Oct 25, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 按症状(spawn 后误判启动失败、terminate 健康子进程)和机制(共享 proxy-origin 被并发覆盖 → launchToken 匹配饿死)检索 open+closed 的 issue/PR,无同机制条目。与 #3326/#3327(TS launcher 同类机制,已修)、#4641/#4642(宿主超时命令消失)、#4643(慢启动)、#4644(自愈)均不同——本条是「TS 已修、Python Hermes 路径漏修」的遗漏。

    标签: bug / hermes / scope/wiring / p1 —— Hermes 车道整体可用性缺陷(bili 压缩被降级为未压缩直连)。

    PR: #4658 · #4658 (Closes #4656;已 rebase 到当前 master 0.1.206)


    结构化结论(八问)

    1. 是什么问题:Hermes 插件自己 spawn 出来的 bili 代理明明健康在跑,插件却判定「启动超时」,把健康的子进程 kill 掉,于是这个宿主进程里的 bili 压缩整体失效,模型流量退化为未压缩直连;长会话因此可能撑爆上游窗口。

    2. 什么原因导致的:ensure_origin 的启动轮询只认全局唯一的 proxy-origin 指针,并要求其 launchToken 等于本轮 token。但该指针是「机器级最后写入者赢」——并发 bring-up(别的车道/第二个启动者)在我们子进程之后注册时,用它的 token 覆盖了此指针;我们的 launchToken 匹配从此整个预算内都失配,到点即 terminate 掉其实健康的子进程。我们自己的实例一直正常登记在独立记录 instances/<id>.json,只是轮询从未去看。根因层=拿「会被并发覆盖的共享指针」做身份校验;表面现象=「启动失败/直连」。
      对 issue 原方案的一处更正:issue 期望「扫描独立注册记录、仅接受自己的 launchToken」。但实际存储里独立注册记录故意不带 launchToken(src/server.ts 写注册标记时删掉了它,使跨车道 attach 发现不依赖 launcher 私有 token),所以无法按 token 匹配——真正可靠的身份凭证是我们刚 spawn 的 pid(并发者伪造不了)。这正是 TS launcher 已修的同款缺陷 [Kimi Native] 多 Provider 切换旁路绕过、Thinking 丢失、上下文窗口失真及端口冲突问题反馈 #2954 采用的办法,我据此按 pid 实现而非按 token。

    3. 影响范围与严重程度:仅 Hermes 车道、且恰好发生「并发 bring-up 在我们子进程之后写了 proxy-origin」时触发;触发后该宿主进程 bili 完全不可用(压缩降级为直连),需手动重启恢复 → p1(核心能力可用性缺陷)。非 Hermes 车道、无并发覆盖场景不受影响。

    4. 怎么修复的:对齐已上线的 TS 修法 [Kimi Native] 多 Provider 切换旁路绕过、Thinking 丢失、上下文窗口失真及端口冲突问题反馈 #2954——在共享指针检查之后、子进程退出检查之前,扫一遍独立注册记录,按 pid 找到我们自己的子进程,对其记录的 origin 做一次健康探测,通过即采纳(mode="spawn")。放在退出检查之前,是为即使子进程本轮 poll 前刚好退出,只要它已自登记且 origin 健康也能认出。不加新代理、不改预算、不动存储/配置。

    5. 是否有回归问题:核过 ensure_origin 既有行为——显式 attach 目标、discover_instance 附着、共享指针 launchToken 匹配、子进程提前退出判死、超时 terminate——全部保留不变,仅在 launchToken 匹配之后新增一条「pid 命中注册记录且健康则采纳」旁路,命中不了落回原分支。未改任何阈值/时序/输出格式;健康判定仍走同一 probe_proxy(manifest 带 version 才算健康)。Hermes 定向 40/40 全绿(含新增 2 例),typecheck 干净。

    6. 是否破坏缓存:不涉及。改动仅在「启动期如何认出自己 spawn 的子进程」这条控制流,不碰任何缓存/重试/去重键/增量游标。

    7. 是否改了设计方向:未改架构,只是把 Python 路径补齐成与 TS launcher([Kimi Native] 多 Provider 切换旁路绕过、Thinking 丢失、上下文窗口失真及端口冲突问题反馈 #2954)一致的既有方向(共享指针+独立注册记录双通道、pid 作身份)。属「漏修补齐」,非转向。

    8. 是否引入新的配置:无。没有新 env/config/默认值。

    回归钉验证:正向 spawn-clobber 端到端复现「指针被外来 token 覆盖+子进程自登记」——旧实现下超时判死(我临时关掉修复行实测:该用例 fail),修复后通过;负向 _find_spawned_in_registry 锁定「只认自己 pid」:外来 token 的存活实例、死亡 pid 的陈旧标记都拒绝,无 child pid 永不匹配(纯确定性,不起子进程)。

    收工判定:修复完整、定向验证过、已 rebase 到最新 master,待 CI 全局把关后可合并;请 owner 验收 #4658。

  3. added
    bugSomething isn't working
    hermes改动范围:内核之外的主机侧接线(src/agent 适配器、server 路由、注入拦截)/范围兜底/客户端标签
    on Oct 25, 2026
  4. added a commit that references this issue on Oct 27, 2026
    44d69ef
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workinghermes改动范围:内核之外的主机侧接线(src/agent 适配器、server 路由、注入拦截)/范围兜底/客户端标签p1scope/wiring

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions