Skip to content

[Feature][Codex launcher] Support concurrently launching multiple bili codex sessions in the same directory with the same CODEX_HOME | [Feature][Codex launcher] 支持同一目录、同一 CODEX_HOME 并发启动多个 bili codex 会话 #3203

Description

@xiaozhu1337

需求与用户影响

希望支持在同一项目目录、同一 CODEX_HOME 下,同时启动多个独立的 bili codex 会话。这包括多个终端处理同一仓库内的不同任务;不要求多个进程同时写入同一个已恢复的 Codex 会话。

用户现场观察:直接运行原生 codex 可以在同一目录多开,改用 bili codex 后第二次启动被拒绝。目前需要等待第一个会话结束,或拆分 CODEX_HOME;后者会拆分配置、认证和历史,不是等价的使用体验。

本 issue 请求在保留 #1952 配置保护和 #1917 数据保护的前提下补齐并发能力,而不是撤销独占锁。

环境与复现步骤

  • Windows,本机全局 billion-context:0.1.197。
  • 本机 @openai/codex:0.162.1。
  • 默认 CODEX_HOME:C:\Users\Administrator\.codex。
  • bili 使用的固定 overlay:C:\Users\Administrator\.codex-bili。

复现方式:

  1. 在终端 A 进入一个项目目录,执行 bili codex,保持会话运行。
  2. 在终端 B 进入同一项目目录,保持相同的 CODEX_HOME,再次执行 bili codex。
  3. 希望两个独立会话均可正常运行,分别保有自己的代理路由和 MCP 绑定。

当前源码中的拒绝消息为:

bili: another bili launch (pid <holderPid>) is using the shared overlay <overlay> — only one bili launch per home runs at a time; wait for it to exit (this launch made no changes)

对应错误码 BILI_OVERLAY_BUSY。abortLaunchOnBusyOverlay() 在 Codex 客户端尚未 spawn 时退出,退出码为 1。

已验证的限制范围与证据边界

本机从实际全局安装包的 source map 提取原始锁函数,在临时目录中用独立 Node 进程验证;没有修改用户的 home、锁或配置。结果:

两次启动的条件 原始锁函数的隔离验证结果
同一项目目录、同一个 home/overlay 第二个进程收到 BILI_OVERLAY_BUSY
不同项目目录、同一个 home/overlay 第二个进程仍收到 BILI_OVERLAY_BUSY
同一项目目录、不同 home/overlay 两个进程分别取得锁

被拒绝的进程没有改写第一个进程的 owner 记录。以上是锁作用域的隔离验证,并未启动真实 Codex 做完整双会话端到端测试;原生 Codex 可同目录多开的描述来自用户现场观察。

同时核对了上游 master 的固定提交 b2868ca6807da850bf69d8e247f866a6e0df4db0,该版本仍包含同样的独占保护。

根因与相关修复

src/launcher.ts 中:

  • prepareCodexHome() 固定使用 const overlay = `${codexHome}-bili`;。
  • refreshOverlayHome() 在写入前调用 acquireOverlayLease(),以 <overlay>/.bili-launch.lock/ 的原子目录创建取得独占租约,兼容旧 .bili-launch.pid。
  • 租约覆盖整个启动会话生命周期,并不是只保护启动时的短暂配置写入。
  • 常规代理路由会进入 overlay 准备分支;不声称所有 direct-URL 等特殊模式都必然触发此限制。

resolveCodexHome() 根据 CODEX_HOME 或默认用户 home 解析路径。默认或相同绝对 CODEX_HOME 下,锁没有按项目 cwd 隔离,因此换项目目录也不能解决。

修复建议

建议将每个会话的可变启动配置与应共享的用户状态分开,解除整个 CODEX_HOME 的长期独占。以下为设计方向,尚未实现或完成兼容性验证:

  1. 为每次启动独立承载代理地址、CA/路由变量、MCP 配置和 conversation ID。优先评估 Codex 支持的进程级环境、启动覆盖参数或独立配置入口,尽量避免为了注入几项配置而复制整套 home。需要明确验证 Windows .cmd 的引号/空格处理,以及 Codex .env 对环境变量的覆盖顺序,不能恢复已有的注入问题。
  2. 若仍需要每会话 overlay,则使用独立的稳定路径和独立所有权,且先明确认证、sessions、SQLite 数据及退出回写的共享规则。只给目录名加 UUID 后继续无协调地回写同一真实数据库是不完整的修复。保存到历史中的绝对路径应持续有效,不能在退出时删除仍被引用的临时 home。
  3. 若能让多个实例安全使用同一个规范数据库路径和同组 WAL/SHM,应优先评估原生 Codex 的并发机制;若必须复制数据库,则需要可靠的同步/冲突策略,不能静默选择某一代而丢弃另一会话的新记录。
  4. 每个会话只释放自己的配置、租约和代理资源。关闭或启动失败的实例不能停止其他会话仍在使用的共享代理。只有真正必须独占的合并/迁移步骤才使用相应范围的锁;每会话配置尚未隔离前,不能直接缩短现有锁的持有时间。

不建议仅删除锁、按 cwd 切分锁,或在 busy 时降级成没有 MCP/压缩的原生启动;这些做法没有满足上述需求。

建议验收

核心目标:用户在同一仓库打开两个终端分别执行 bili codex,应获得两个正常工作的独立会话,同时保留上下文压缩和原有用户状态。

Activity

  1. ranxianglei commented on Oct 14, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    查重:不重复。 检索了 open+closed 的 issue/PR(关键词 codex launcher / overlay busy / BILI_OVERLAY_BUSY / 并发 / #1952 等),没有相同能力请求。相关但不同:#1952/#1969(缺陷修复,引入了本 issue 要放宽的独占租约)与 #1917/#1918(SQLite 数据保护)——它们是本 issue 明确要保留的两条保护边界,不是重复需求。

    代码核实(master c800ed1,与你引用的 b2868ca 一致):

    • 租约生命周期确实是整个会话:prepare 时 acquireOverlayLease(),直到 runLaunch 的 finally 才 releaseOverlayLease()(src/launcher.ts:1571、:1622、:5236-5241),不只是保护启动时的短暂写入;
    • overlay 固定名 ${CODEX_HOME}-bili(src/launcher.ts:2886),没有任何 cwd 维度,所以换项目目录也救不了;
    • bili 每次启动实际只生成两个文件:.env(6 个受管键 HTTP_PROXY/HTTPS_PROXY/ALL_PROXY/NO_PROXY/SSL_CERT_FILE/BILLION_CONTEXT_PROXY,bili codex 报错 MCP client for codex_apps failed to start 仍然存在 #1802)和 config.toml 里的 [mcp_servers.bili] 块(conversationId 每次启动一个全新 randomUUID(),src/launcher.ts:5096)。overlay 里其余内容全部是真实 home 的链接/拷贝镜像 + 私有 SQLite 副本(fix: sqlite overlay — private set copies instead of shared file links (#1917) #1918);
    • 每次启动的代理实例和端口本来就是独立的(端口区从 18787 起、冲突 +1 跳),conversationId 也按会话独立——唯一的硬共享瓶颈就是 home 目录本身。

    评估:需求合理。原生 codex 同目录可多开,说明「多进程共享同一 home 的 auth/sessions/SQLite」在上游已被证明并发安全;bili 现行「把 CODEX_HOME 重定向到单一固定名 overlay」是拒绝并发的唯一原因。改动完全落在 launcher 层,不碰 kernel、wire 协议、压缩管线,系统耦合低。dsh 车道共用同一套租约机制(${DSH_HOME}-bili),本 issue 只针对 codex,dsh 可以不动。

    两个候选方案(请拍板):

    A. 每会话独立 overlay:每次启动分配 ${home}-bili-<n>,各自全量镜像 + 独立租约。优点是与今天语义零变化;缺点是 N 个会话带 N 份全量 home 镜像和 N 份私有 SQLite 副本,且两会话先后退出时回写仍走现有 provenance/mtime 仲裁——先退出会话的数据库写入会被后退出的一方当成「分歧代」收进 .bili-conflict,对 codex 不可见,直接违反验收「两个会话的历史和数据库写入均保留、退出顺序不影响结果」。要修对需要行级 SQLite 合并,重且怕上游 schema 漂移。

    B. 不再重定向 CODEX_HOME(推荐):两会话直接用真实 home,把每会话注入拆成两条通道:

    1. 代理/CA 走 spawn env(HTTPS_PROXY/SSL_CERT_FILE/BILLION_CONTEXT_PROXY 现在就在注;补齐 HTTP_PROXY/ALL_PROXY/NO_PROXY=loopback,对齐 bili codex 报错 MCP client for codex_apps failed to start 仍然存在 #1802 的受管键集合);
    2. MCP 块走 codex 原生 --profile <uuid>:在真实 home 写一个唯一命名的 <uuid>.config.toml(只含 [mcp_servers.bili] 表),启动传 --profile <uuid>,退出删自己的文件,崩溃残留由下次启动回收。用户的 config.toml/.env/auth/sessions 一律不动。

    效果:SQLite、sessions/、auth.json 全部走规范路径,SQLite WAL 原生支持多进程读写并发——不再需要拷贝、回写、冲突文件,「历史与数据库写入无论退出顺序都保留」结构性成立;退出后也不存在 overlay,恢复入口天然干净。auth.json 并发刷 token 的竞争与原生 codex 多开行为一致,不属于 bili 引入。

    已验证(本机 codex 0.147.0 隔离测试):codex --profile <uuid> mcp list 正确显示 profile 注入的 [mcp_servers.bili](不带 profile 基线为 "No MCP servers configured"),UUID 命名 profile 正常,基础配置分层保持,flag 在子命令前解析正常。

    残余边界(也是旧机制不能整个删掉的原因):若用户 ~/.codex/.env 含上述 6 个受管键之一,codex 的 load_dotenv() 会无条件覆盖 spawn env(正是 #1802 当年要解的问题)→ 路由静默失效。两种处置:

    • B1(推荐):该场景下保留现有全量 overlay 机制作为降级车道,改为每会话命名使降级也能并发,语义与今天完全一致;
    • B2:拒绝启动并明确列出冲突键(相对今天「生成的 .env 覆盖用户值」是行为变更,需显式披露)。

    风险/待验证项:

    • --profile 在 0.147.0 上验证过,实现前需在 0.162.x(你的版本)复核;
    • Windows 端到端:本方案只传纯 UUID 参数(无路径、无引号风险),但需真机双会话 e2e 确认;
    • codex 在 home 内写的其他文件(如 helper binaries)与原生多开同属共享模式,纳入 e2e 场景覆盖。

    请拍板:是否按「方案 B + B1 降级车道」实现?确认后我再进入实现(此改动涉及 codex 的配置注入方式与 .env 优先级语义,按项目规则需你批准后进实现)。

  2. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    8问

  3. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    按结构化八问整理上述分析:

    1. 是什么问题:bili codex 每个 CODEX_HOME 同时只允许一个会话——第二个终端(同项目目录、同一 home)再跑 bili codex 被直接拒绝(BILI_OVERLAY_BUSY,退出码 1)。原生 codex 同目录可多开,改用 bili 后要么等第一个会话结束,要么拆 CODEX_HOME(配置、认证、历史被拆开,不等价)。

    2. 什么原因导致的:为了注入每会话的代理/CA 和 MCP 配置,bili 把 CODEX_HOME 重定向到单一固定名 overlay ${CODEX_HOME}-bili;为防止两个启动互相改写生成文件(#1952/#1969),该 overlay 用整个会话生命周期持有的独占租约保护。因果链分层:注入机制需要「私有 home」(codex 的 load_dotenv 会无条件覆盖 spawn env,MCP 只能经 config.toml 注入)→ 保护粒度落在 home 上 → 整会话独占锁 → 并发启动被拒。注意:代理端口与 conversationId 本来就按启动独立——home 目录是唯一的硬共享瓶颈。

    3. 影响范围与严重程度:影响需要在同一 CODEX_HOME 下并发多个 bili codex 会话的用户(同一仓库多终端/多任务)。严重度 = 特定条件下不可用:并发启动被拒;顺序使用单会话完全不受影响。无数据损坏,属能力缺失而非缺陷。

    4. 怎么修复的:推荐方案 B——不再重定向 CODEX_HOME,两会话直接共享真实 home,每会话注入拆成两条通道:代理/CA 走 spawn env(补齐 HTTP_PROXY/ALL_PROXY/NO_PROXY=loopback,对齐 #1802 的 6 个受管键),MCP 块走 codex 原生 --profile <uuid>(真实 home 内唯一命名的 profile 文件,只含 [mcp_servers.bili] 表,退出删除自己那份、崩溃残留下次回收)。SQLite/sessions/auth 全走规范路径,WAL 原生支持多进程读写并发,取消私有副本与回写仲裁——「两个会话的历史和数据库写入均保留、退出顺序不影响结果」结构性成立。「用户 .env 含受管键」的边界场景保留现有全量 overlay 机制作降级车道(B1,同样改每会话命名使降级也能并发)。不推荐方案 A(每会话全量 overlay):跨会话回写仲裁会把先退出会话的数据库写入收进 .bili-conflict,违反验收,修对需要行级 SQLite 合并。

    5. 是否有回归问题:逐项过既有行为——

    • [Bug][Codex launcher] 检测到存活启动器后仍覆盖共享 overlay 的代理与 MCP 配置 #1952 配置保护:保持且加强——不再改写共享的 config.toml/.env,每会话只写自己的唯一命名 profile 文件;
    • Windows bili codex:SQLite 覆盖层拆分主库与 WAL,导致数据库损坏及已提交写入丢失 #1917/fix: sqlite overlay — private set copies instead of shared file links (#1917) #1918 数据保护:消除——不再复制数据库,所有进程打开同一规范路径(SQLite WAL 设计支持的多进程并发模式);冲突文件机制仅降级车道保留;
    • 悬空路径问题:今天 overlay 会在历史里留下指向 overlay 的绝对路径、需退出时 relink 修补(finalizeCodexHome);B 下不存在 overlay,这类失效整体消失;
    • .env 优先级语义变化(披露):今天生成的 .env 无条件覆盖用户 ~/.codex/.env 中 6 个受管键(HTTP_PROXY/HTTPS_PROXY/ALL_PROXY/NO_PROXY/SSL_CERT_FILE/BILLION_CONTEXT_PROXY);B 下这 6 个键改由 spawn env 提供,若用户 .env 含有它们,codex 的 load_dotenv 会覆盖 spawn env → 路由静默失效。处置:启动时检测,有冲突即走 B1 降级车道(语义与今天一致),不静默降级;
    • --profile 分层与已安装 companion MCP:profile 表优先于基础配置同名表,与今天「launcher 块覆盖用户块」的优先级一致;
    • dsh 车道、fail-fast 拒绝语义(降级车道保留)、输出格式:不变。

    6. 是否破坏缓存:不涉及。压缩状态按会话承载(conversationId 仍为每会话新 UUID),两会话压缩状态本就互不相干;客户端前缀缓存不受影响(本改动不改 system prompt/消息字节);更新节流/去重键无关。

    7. 是否改了设计方向:是——从「私有 home 镜像 + 回写仲裁」转向「共享真实 home + 每会话轻量注入」。理由:镜像机制存在的目的只是注入两个文件(.env、MCP 块),codex 原生 --profile 接住第二通道后,镜像剩下的唯一作用是防用户 .env 覆盖 6 个键,为此保留整套全量镜像不成比例;且镜像正是并发回写冲突的根源。数据流转向:配置注入从「文件改写」变为「spawn env + CLI 参数」,用户状态从「拷贝-回写」变为「原地共享」。

    8. 是否引入了新的配置:无。profile 文件名是内部生成的 UUID,不作为配置项暴露;不预置开关(按环境变量纪律不加多余旋钮)。

    判定:以上为完整分析与建议,等你确认「方案 B + B1 降级车道」方向;确认后进入实现(PR 引用本 issue;e2e 覆盖双会话并发、竞争启动、崩溃恢复,Windows 真机验证;实现前在你的 0.162.x 上复核 --profile)。

  4. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    #2222 看这个是否可行

  5. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    结论:可行,而且 #2222 的机制落地后,「每会话独立 overlay」从我之前不推荐的方案 A 升级为推荐方案——它比我上一轮推荐的方案 B 更干净。先报一个核查发现,再给修订方案和八问。

    核查发现(重要):#2222 的实现目前只存在于分支 origin/2026-10-06_codex-sqlite-home-shared-state(tip 039c536,1 commit、7 文件、+515/-25),帖子里提到的 PR #2223 不存在(GitHub API 404;按 head ref 查 state=all 也无任何 PR)——这项工作没有 PR 载体、未合入;分支基点落后当前 master 1571 个提交(其中 launcher.ts 有 48 个),需要一次仔细 rebase。机制本身的证据链是完整的:CODEX_SQLITE_HOME 跨版本源码核实(0.147.0 起全部支持版本都有)+ 0.147.0 真机 hermetic 实测(全部状态库落该 env、home 内零 sqlite 文件)。

    修订方案 A′(#2222 机制 + 每会话命名):

    1. 每次启动分配独立 overlay ${CODEX_HOME}-bili-<uuid>(原子 mkdir 即分配,现有 per-overlay 租约原样生效)→ 跨会话零竞争,并发能力直接成立;
    2. spawn env 加 CODEX_SQLITE_HOME=<真实home>(codex ≥ 0.147 门控)→ 全部状态库留在唯一物理路径,取消拷贝/对账/写回/conflict 文件——「两个会话的历史和数据库写入均保留、退出顺序不影响结果」结构性成立(WAL 原生多进程协调);
    3. 生成的 .env/config.toml 仍写各自 overlay → bili codex 报错 MCP client for codex_apps failed to start 仍然存在 #1802 的 .env 优先级语义完全不变(方案 B 的最大回归风险消失);MCP 继续走 config.toml 生成,不再依赖 --profile(少一个上游特性面);
    4. codex < 0.147 → 回退今天的行为(单 overlay 独占拒绝),版本门控沿用分支上已实现的先例;
    5. 存量单名 overlay:升级后首次启动用现有 provenance 逻辑一次性 fold 回真实 home(与 Bili Codex's startup mechanism has various issues that currently rely on band-aid patches. We need to explore a new mechanism to thoroughly resolve these problems. | bili codex 启动机制带了各种问题需要狗皮膏药打补丁,探索新机制彻底解决这些问题 #2222 分支的迁移计划一致),此后不再触碰;崩溃残留的每会话 overlay(现在只剩符号链接 + 两个生成文件,无 DB)由现有 stale-lease 检测回收。

    为什么 A′ 优于我此前推荐的 B:B 要改 .env 优先级语义、依赖仅验证过 0.147 的 --profile、还要往用户真实 home 写 profile 文件并承担孤儿清理;A′ 三者皆无,且复用全部现成机制(租约/refresh/finalize/门控)。代价是保留镜像开销(readdir+链接),但最慢的一段(DB 拷贝 + 全量 sha256)已被 CODEX_SQLITE_HOME 消除。

    八问:

    1. 是什么问题:bili codex 同一 home 只允许一个会话,第二个终端被独占锁拒绝;原生 codex 同目录可多开。
    2. 什么原因导致的:为注入两个生成文件(.env/MCP 块)把 CODEX_HOME 重定向到单一固定名 overlay,[Bug][Codex launcher] 检测到存活启动器后仍覆盖共享 overlay 的代理与 MCP 配置 #1952 又给它加了整会话独占租约;home 目录是唯一的硬共享瓶颈(代理端口、conversationId 本就按会话独立)。
    3. 影响范围与严重程度:需并发多会话的用户(同仓库多终端)特定条件下不可用;顺序单会话不受影响;无数据损坏。
    4. 怎么修复的:如上 A′——并发靠每会话命名 overlay,数据保护靠 CODEX_SQLITE_HOME 让所有进程写同一物理库(断因:DB 不再被拖进 overlay,而不是继续优化对账算法)。
    5. 是否有回归问题:逐项过——[Bug][Codex launcher] 检测到存活启动器后仍覆盖共享 overlay 的代理与 MCP 配置 #1952 配置保护保持(每会话只写自己的 overlay);Windows bili codex:SQLite 覆盖层拆分主库与 WAL,导致数据库损坏及已提交写入丢失 #1917/fix: sqlite overlay — private set copies instead of shared file links (#1917) #1918 数据保护消除(单一物理路径);.env 语义不变;悬空 overlay 路径问题消失(历史落点全是真实 home);conflict 文件在常见场景不再产生(有意变更:从「隔离等人处理」变为「本来就该在一起」);dsh 车道、非 codex lane、wire/压缩管线不动;rebase 冲突风险在 launcher.ts(热文件),按 union-of-intent 解。
    6. 是否破坏缓存:不涉及(压缩状态按 conversationId 承载,本就按会话隔离)。
    7. 是否改了设计方向:是——「私有 home 镜像 + 回写仲裁」→「每会话轻量 overlay + 共享规范状态路径」;overlay 职责收敛为纯配置注入。
    8. 是否引入新配置:沿用 Bili Codex's startup mechanism has various issues that currently rely on band-aid patches. We need to explore a new mechanism to thoroughly resolve these problems. | bili codex 启动机制带了各种问题需要狗皮膏药打补丁,探索新机制彻底解决这些问题 #2222 分支已有的逃生阀 BILI_CODEX_STATE_MODE=auto|shared|legacy(auto 默认);每会话 overlay 命名为内部实现,不暴露配置项。

    执行建议(请拍板):#2222 与 #3203 已是同一机制的两面(共享态是并发能力的前提),建议一个闭环 PR:把 #2222 分支 rebase 到当前 master、复核其测试、扩展每会话命名 + 双会话并发 e2e(含 Windows 真机、竞争启动、崩溃恢复、存量 overlay 一次性迁移),PR 同时引用两 issue。不建议拆成「先补开 #2222 PR 合并、再单独做 #3203」——同一机制拆两个 PR 违反连贯修复政策。确认后开工。

  6. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    麻烦拾取2222 做一个连贯的吧

  7. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    收到,开工。执行顺序:

    1. 从当前 master 拉分支 2026-10-15_codex-concurrent-launch;
    2. 把 Bili Codex's startup mechanism has various issues that currently rely on band-aid patches. We need to explore a new mechanism to thoroughly resolve these problems. | bili codex 启动机制带了各种问题需要狗皮膏药打补丁,探索新机制彻底解决这些问题 #2222 分支(039c536d8,CODEX_SQLITE_HOME 共享态机制)cherry-pick 过来,按 union-of-intent 解 launcher.ts 冲突(该文件在分叉点后有 48 个提交改动),逐段核对语义不丢;
    3. 在其上扩展每会话命名 overlay(${CODEX_HOME}-bili-<uuid>、原子分配、存量单名 overlay 一次性 fold、崩溃残留回收)、双会话并发 e2e(含竞争启动/SIGKILL 崩溃恢复/存量迁移/Windows 车道);
    4. 定向测试本地过 → push → 开 PR(同时引用 Bili Codex's startup mechanism has various issues that currently rely on band-aid patches. We need to explore a new mechanism to thoroughly resolve these problems. | bili codex 启动机制带了各种问题需要狗皮膏药打补丁,探索新机制彻底解决这些问题 #2222 + [Feature][Codex launcher] Support concurrently launching multiple bili codex sessions in the same directory with the same CODEX_HOME | [Feature][Codex launcher] 支持同一目录、同一 CODEX_HOME 并发启动多个 bili codex 会话 #3203)→ CI 全量把关。

    完成后在本线程回 PR 链接 + 八问。

  8. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    结论:可行,而且 #2222 的机制落地后,「每会话独立 overlay」从我之前不推荐的方案 A 升级为推荐方案——它比我上一轮推荐的方案 B 更干净。先报一个核查发现,再给修订方案和八问。

    核查发现(重要):#2222 的实现目前只存在于分支 origin/2026-10-06_codex-sqlite-home-shared-state(tip 039c536,1 commit、7 文件、+515/-25),帖子里提到的 PR #2223 不存在(GitHub API 404;按 head ref 查 state=all 也无任何 PR)——这项工作没有 PR 载体、未合入;分支基点落后当前 master 1571 个提交(其中 launcher.ts 有 48 个),需要一次仔细 rebase。机制本身的证据链是完整的:CODEX_SQLITE_HOME 跨版本源码核实(0.147.0 起全部支持版本都有)+ 0.147.0 真机 hermetic 实测(全部状态库落该 env、home 内零 sqlite 文件)。

    修订方案 A′(#2222 机制 + 每会话命名):

    1. 每次启动分配独立 overlay ${CODEX_HOME}-bili-<uuid>(原子 mkdir 即分配,现有 per-overlay 租约原样生效)→ 跨会话零竞争,并发能力直接成立;
    2. spawn env 加 CODEX_SQLITE_HOME=<真实home>(codex ≥ 0.147 门控)→ 全部状态库留在唯一物理路径,取消拷贝/对账/写回/conflict 文件——「两个会话的历史和数据库写入均保留、退出顺序不影响结果」结构性成立(WAL 原生多进程协调);
    3. 生成的 .env/config.toml 仍写各自 overlay → bili codex 报错 MCP client for codex_apps failed to start 仍然存在 #1802 的 .env 优先级语义完全不变(方案 B 的最大回归风险消失);MCP 继续走 config.toml 生成,不再依赖 --profile(少一个上游特性面);
    4. codex < 0.147 → 回退今天的行为(单 overlay 独占拒绝),版本门控沿用分支上已实现的先例;
    5. 存量单名 overlay:升级后首次启动用现有 provenance 逻辑一次性 fold 回真实 home(与 Bili Codex's startup mechanism has various issues that currently rely on band-aid patches. We need to explore a new mechanism to thoroughly resolve these problems. | bili codex 启动机制带了各种问题需要狗皮膏药打补丁,探索新机制彻底解决这些问题 #2222 分支的迁移计划一致),此后不再触碰;崩溃残留的每会话 overlay(现在只剩符号链接 + 两个生成文件,无 DB)由现有 stale-lease 检测回收。

    为什么 A′ 优于我此前推荐的 B:B 要改 .env 优先级语义、依赖仅验证过 0.147 的 --profile、还要往用户真实 home 写 profile 文件并承担孤儿清理;A′ 三者皆无,且复用全部现成机制(租约/refresh/finalize/门控)。代价是保留镜像开销(readdir+链接),但最慢的一段(DB 拷贝 + 全量 sha256)已被 CODEX_SQLITE_HOME 消除。

    八问:

    1. 是什么问题:bili codex 同一 home 只允许一个会话,第二个终端被独占锁拒绝;原生 codex 同目录可多开。
    2. 什么原因导致的:为注入两个生成文件(.env/MCP 块)把 CODEX_HOME 重定向到单一固定名 overlay,[Bug][Codex launcher] 检测到存活启动器后仍覆盖共享 overlay 的代理与 MCP 配置 #1952 又给它加了整会话独占租约;home 目录是唯一的硬共享瓶颈(代理端口、conversationId 本就按会话独立)。
    3. 影响范围与严重程度:需并发多会话的用户(同仓库多终端)特定条件下不可用;顺序单会话不受影响;无数据损坏。
    4. 怎么修复的:如上 A′——并发靠每会话命名 overlay,数据保护靠 CODEX_SQLITE_HOME 让所有进程写同一物理库(断因:DB 不再被拖进 overlay,而不是继续优化对账算法)。
    5. 是否有回归问题:逐项过——[Bug][Codex launcher] 检测到存活启动器后仍覆盖共享 overlay 的代理与 MCP 配置 #1952 配置保护保持(每会话只写自己的 overlay);Windows bili codex:SQLite 覆盖层拆分主库与 WAL,导致数据库损坏及已提交写入丢失 #1917/fix: sqlite overlay — private set copies instead of shared file links (#1917) #1918 数据保护消除(单一物理路径);.env 语义不变;悬空 overlay 路径问题消失(历史落点全是真实 home);conflict 文件在常见场景不再产生(有意变更:从「隔离等人处理」变为「本来就该在一起」);dsh 车道、非 codex lane、wire/压缩管线不动;rebase 冲突风险在 launcher.ts(热文件),按 union-of-intent 解。
    6. 是否破坏缓存:不涉及(压缩状态按 conversationId 承载,本就按会话隔离)。
    7. 是否改了设计方向:是——「私有 home 镜像 + 回写仲裁」→「每会话轻量 overlay + 共享规范状态路径」;overlay 职责收敛为纯配置注入。
    8. 是否引入新配置:沿用 Bili Codex's startup mechanism has various issues that currently rely on band-aid patches. We need to explore a new mechanism to thoroughly resolve these problems. | bili codex 启动机制带了各种问题需要狗皮膏药打补丁,探索新机制彻底解决这些问题 #2222 分支已有的逃生阀 BILI_CODEX_STATE_MODE=auto|shared|legacy(auto 默认);每会话 overlay 命名为内部实现,不暴露配置项。

    执行建议(请拍板):#2222 与 #3203 已是同一机制的两面(共享态是并发能力的前提),建议一个闭环 PR:把 #2222 分支 rebase 到当前 master、复核其测试、扩展每会话命名 + 双会话并发 e2e(含 Windows 真机、竞争启动、崩溃恢复、存量 overlay 一次性迁移),PR 同时引用两 issue。不建议拆成「先补开 #2222 PR 合并、再单独做 #3203」——同一机制拆两个 PR 违反连贯修复政策。确认后开工。

  9. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    PR 已提交:**https://github.com/ranxianglei/billion-context/pull/3321**(一个连贯闭环:Fixes #2222 + Closes #3203)

    问题与根因:同一 CODEX_HOME 下第二次 bili codex 被独占锁拒绝(BILI_OVERLAY_BUSY)。根因是两层叠加:①所有启动共享固定 overlay 目录 <CODEX_HOME>-bili,租约覆盖整个会话生命周期(#1952 的保护是必要的,但锁的粒度是整个 home);②overlay 顺带接管了 codex 的 SQLite 状态库,于是数据库的复制/对账/回写机制(#1917/#1918 一族)让「缩短锁」变得不安全。

    修法(拾取 #2222 的机制,一次做完整):

    1. 状态库回原位:codex ≥ 0.147 时经 CODEX_SQLITE_HOME=<真实 $CODEX_HOME> 把所有状态库放回规范路径——原生 codex 与 bili 会话、以及多个 bili 会话之间共用同一个物理 WAL 数据库,由 SQLite 自身锁协议协调并发;复制/冲突文件/退出仲裁那套整体退场。
    2. 每会话配置槽:每次启动分配独立槽位 <CODEX_HOME>-bili-s<N>(N=1..16),只承载生成的 .env/config.toml(代理路由、MCP conversation ID)。旧固定名 overlay 在首个 shared 模式启动时一次性回写进真实 home,之后保留不删除(历史里的绝对路径仍指向它);若有旧版本 bili 正持锁使用它,则拒绝本次启动(防双写者)。
    3. 每会话代理 lane:每个会话的代理跑独立 lane codex-s<N>。不做这步的话,两个会话的代理会按同 lane「孪生」规则(autoRestartOnUpdate + occupied target port -> orphan process leak: new instance silently hops to the next port, old instance never exits #3044)互相杀死——开发中真实踩到:第二会话的代理直接退出。

    行为变更(旧→新,均已在 PR 描述披露):

    • shared 模式(codex≥0.147,默认 auto 自动启用):overlay 从 <home>-bili 单目录 → <home>-bili-s1..s16 持久槽位池(跨重启复用、永不自动删);并发上限 16 个会话;
    • 新增 BILI_CODEX_STATE_MODE=auto|shared|legacy(CONFIGURATION.md 中英 + env-only.yaml 已记录);
    • codex < 0.147 或显式 legacy:与旧行为逐字节一致(固定单 overlay + 独占租约 + DB 复制仲裁);
    • 首次 shared 启动会在真实 home 播种规范 installation_id(此前各 overlay 各自生长,回写时互相隔离成冲突文件)。

    验证现状:本地 typecheck / 定向单测 56 例 / e2e-codex-fake 整文件全绿;远端 CI 已过:主矩阵 guard 层、Windows 真机 real-launch lane、e2e-fake lane(含新增双会话并发测试:同一 home 两个会话并行,历史净增 2 线程、零冲突文件、任一会话退出后另一会话可继续、退出后原生 resume --last 可用)。唯一红灯是 PR canary 发布作业撞上 npm registry 暂存区冲突(E409,与代码改动无关的瞬态问题),已触发该作业重跑。

    CI 全绿后我再回一条带八问的收工结论。

  10. ranxianglei commented on Oct 15, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    CI 全绿,收工结论(八问)。PR:#3321 #2222 + Closes #3203,5 个 commit,mergeable/clean)

    1. 是什么问题:同一项目目录、同一 CODEX_HOME 下第二次启动 bili codex 被独占锁拒绝(BILI_OVERLAY_BUSY),用户只能等第一个会话结束、或手工拆 home(拆掉配置/认证/历史,不等价)。
    2. 什么原因导致的:两层叠加——①所有启动共享固定名 overlay 目录 <CODEX_HOME>-bili,租约覆盖整个会话生命周期([Bug][Codex launcher] 检测到存活启动器后仍覆盖共享 overlay 的代理与 MCP 配置 #1952 的「不许第二个启动器改写第一个的有效配置」保护是必要的,但锁粒度粗到了整个 home);②overlay 顺带接管了 codex 的 SQLite 状态库,数据库复制/对账/退出回写那套机制(Windows bili codex:SQLite 覆盖层拆分主库与 WAL,导致数据库损坏及已提交写入丢失 #1917/fix: sqlite overlay — private set copies instead of shared file links (#1917) #1918 一族)让「缩短锁或按 cwd 拆锁」都不安全——两个会话的数据最终要仲裁写回同一个真实库,必然丢一方或产生冲突文件。
    3. 影响范围与严重程度:同目录/同 home 多开 bili codex 的用户(现场:Windows,bili 0.1.197)完全无法并发多会话;单会话用户不受影响。修复后支持最多 16 个并发会话(槽位池上限)。
    4. 怎么修复的(机制层面三件套):① codex ≥ 0.147 时经 CODEX_SQLITE_HOME=<真实 $CODEX_HOME> 把全部状态库放回规范路径——多个 bili 会话与原生 codex 共用同一个物理 WAL 数据库,由 SQLite 自身锁协议协调并发,复制/冲突文件/退出仲裁整体退场;② 每次启动分配独立配置槽 <CODEX_HOME>-bili-s<N>(N=1..16),只承载生成的 .env/config.toml(代理路由 + MCP conversation ID),槽位持久复用、永不自动删除(历史里的绝对 rollout 路径持续有效);旧固定名 overlay 在首个 shared 启动时一次性回写进真实 home 后保留不动,若有旧版本 bili 正持锁则拒绝本次启动(防双写者);③ 每个会话的代理跑独立 lane codex-s<N>——不做这步,两会话代理会按同 lane 孪生规则(autoRestartOnUpdate + occupied target port -> orphan process leak: new instance silently hops to the next port, old instance never exits #3044)互相杀死,开发中真实踩到。每会话只释放自己的配置、租约和代理;合并/迁移类独占只剩「旧 overlay 首次回写」一个点。
    5. 是否有回归问题:逐项过过——legacy 模式(codex<0.147 或显式 legacy)与旧行为逐字节一致(固定单 overlay+独占租约+DB 复制仲裁,单测钉住);bili codex 报错 MCP client for codex_apps failed to start 仍然存在 #1802 .env 优先级语义不变(shared 模式下每个会话在自己槽内 pin 自己的路由,e2e 断言通过);[Bug][Codex launcher] 检测到存活启动器后仍覆盖共享 overlay 的代理与 MCP 配置 #1952 配置保护保留(槽间租约互斥,第二会话不改写第一会话的有效配置);Windows bili codex:SQLite 覆盖层拆分主库与 WAL,导致数据库损坏及已提交写入丢失 #1917/fix: sqlite overlay — private set copies instead of shared file links (#1917) #1918 数据保护结构性升级(单一物理库,不再存在分歧副本);冷启动恢复路径有效(e2e 验证双会话退出后原生 resume --last 可用)。高危模式逐项查:无 fail-fast 变吞错、无阈值/时序/输出格式漂移;唯一语义变化就是已披露的 shared 模式命名与 lane。另如实记录两处非代码问题:本地整文件 e2e 首跑有一次单测闪断(重跑及 CI 均未复现)、canary 发布作业遇 npm 暂存区瞬态 E409(按工作流设计的 rerun 机制一次修复)。
    6. 是否破坏缓存:不涉及上下文压缩的前缀缓存/重试/增量游标。新增 port-zone.json 粘性端口记录 ≤16 条(按 codex-s<N> 键控,被槽位池天然限界);压缩状态本就按会话隔离,未变。
    7. 是否改了设计方向:是——codex launcher 的状态管理从「overlay 拥有一切(含状态库)」转向「overlay 只承载生成配置,状态库回规范路径」。这正是 Bili Codex's startup mechanism has various issues that currently rely on band-aid patches. We need to explore a new mechanism to thoroughly resolve these problems. | bili codex 启动机制带了各种问题需要狗皮膏药打补丁,探索新机制彻底解决这些问题 #2222 提出的去膏药方向,本 PR 是其完整闭环实现;Windows bili codex:SQLite 覆盖层拆分主库与 WAL,导致数据库损坏及已提交写入丢失 #1917/fix: sqlite overlay — private set copies instead of shared file links (#1917) #1918/[Bug][Codex launcher] 首次生成的 SQLite 数据库在第二次启动时从 active CODEX_HOME 遗漏 #1951/[Bug][Windows Codex] WAL-only 提交时 SQLite 合并选错世代:顺序启动新增 thread 被移入 conflict #2195 一族补丁在 shared 模式下整体退场(legacy 模式仍保留兜底旧版本 codex)。dsh/goose 等其他 lane 完全未动。
    8. 是否引入新配置:BILI_CODEX_STATE_MODE=auto|shared|legacy(默认 auto;CONFIGURATION.md 中英 + env-only.yaml 已记录)。无需迁移:旧版 codex(<0.147)上 auto 自动落回 legacy,行为与今天逐字节相同。

    判定:issue 验收清单六项均有对应测试覆盖(同目录/不同目录并发、竞争测试、路由/MCP/压缩互不串线、任一会话退出不影响另一会话、双会话历史与 DB 写入全保留且退出顺序无关、退出后可恢复且无悬空路径),远端 CI 全矩阵 + Windows 真机 lane + e2e-fake 双会话 lane 全绿。可以合并,请 owner 操作:#3321

  11. 2 remaining items

  12. changed the title [-][Feature][Codex launcher] 支持同一目录、同一 CODEX_HOME 并发启动多个 bili codex 会话[/-] [+][Feature][Codex launcher] Support concurrently launching multiple bili codex sessions in the same directory with the same CODEX_HOME | [Feature][Codex launcher] 支持同一目录、同一 CODEX_HOME 并发启动多个 bili codex 会话[/+] on Oct 16, 2026
  13. added
    其他改动范围:内核之外的主机侧接线(src/agent 适配器、server 路由、注入拦截)/范围兜底/客户端标签
    on Oct 18, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    codexenhancementNew feature or requestp1review中review发现修复中其他改动范围:内核之外的主机侧接线(src/agent 适配器、server 路由、注入拦截)/范围兜底/客户端标签

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions