Repository navigation
fix: 客户端断开后阻止 preflight 继续转发正式请求 - #2541
ranxianglei merged 2 commits into
Conversation
[bot] 🏷 PR #2541 审查结论(结构化八问) 已独立复核:拉取分支 1. 是什么问题 2. 什么原因导致的
方向判断:issue 定位的是根因(取消生命周期优先级被覆盖),不是表面现象;修复在决策点恢复「客户端取消 > 一切 post-preflight 转发许可」,属机制级修复而非症状遮罩。✓ 3. 影响范围与严重程度 4. 怎么修复的
5. 是否有回归问题
6. 是否破坏缓存 7. 是否改了设计方向 8. 是否引入了新的配置 其他核查:diff 整洁(4 文件 +265/−26,每行都与目的相关,无跑题文件);无 判定:可合。 建议合并前顺手 rebase 到最新 master(3 个落后提交无文件重叠,预期无冲突;mergeable=True)。唯一残留是真实 E2E 四阶段未在有上游的环境执行过——CI 侧 e2e 已绿,风险低但请 owner 知悉。 |
80945dc to
e5d9be2
Compare
|
你好,这个 PR 已完成后续冲突整合,并补充了 growth auto-fold 路径的取消回归测试,目前共有 9 项定向回归。最新提交是 此前 ework 审查结论为“可合”;后续仍保持原修复范围:客户端取消后停止正式上游转发,同时保留连接存活时摘要失败但 payload fits 的恢复行为。 方便时请复核最新 diff,并考虑合入。当前分支略落后于 master,如需进一步同步或调整,我可以配合。真实上游的四阶段 E2E 尚未执行,这一限制已在 PR 描述中说明。 |
[bot] 🏷 收到,开始复核更新后的 head |
[bot] 🏷 PR #2541 复核结论(head 已拉取 rebase 后的分支核对:单提交 1. 是什么问题 2. 什么原因导致的 3. 影响范围与严重程度 4. 怎么修复的 5. 是否有回归问题 6. 是否破坏缓存 7. 是否改了设计方向 8. 是否引入了新的配置 其他:diff 整洁度维持(每行都与目的相关);分支落后 master 3 个提交(dsh ledger floor probe,与本 PR 无文件重叠),mergeable=True,合并时直接 merge 或顺手 rebase 均可;真实上游四阶段 E2E 仍未执行(环境限制,PR 描述已披露),CI e2e 作业已绿。 判定:复核通过,可合。 修复范围与首轮一致并正确延伸到 growth auto-fold 路径,无新增回归面。 |
|
冲突 |
[bot] 🏷 收到冲突通知。master 在 PR base( |
保留已能放入窗口的 aborted 结果;在异步重建后的转发许可前检查取消,并让 relay 继承已发生的关闭与 watchdog 取消。保留上游 auto-fold 的失败放行与退避行为,新增 9 项回归。关联 ranxianglei#2539。
e5d9be2 to
30bde62
Compare
[bot] 🏷 冲突已解决并推送,新 head 结构化八问
两点说明:① 推送后 master 又前进了 4 个提交(#2554 dsh title side-lane: 判定:冲突已清理、验证通过,可合。 |
|
ci失败 处理下 如果是偶发性的提交issue单独处理 |
CI 失败已处理完毕,结论:偶发性基础设施抖动,与 PR 代码无关;当前 head 全绿,可合。 结构化八问(本轮 CI 处置)
判定:CI 已恢复全绿(head |
…ride out transient blips A transient runner-to-registry ECONNRESET during setup-phase `npm i -g` / `npm ci` reds an otherwise-green PR with no test code ever running (ranxianglei#2541 run 38032380794; rerun-failed-jobs green on the same head). Root cause: npm's built-in fetch retry defaults to only 2 tries. Raise it to 5 via a job-level env block on every job that touches the registry, so a ~10s jitter rides out instead of aborting setup. Job-level placement covers the global CLI install AND `npm ci` AND any build-time fetch in that job. Bounded: worst case ~+2 min of backoff before a genuine sustained outage still fails fast (jobs carry their own timeout-minutes). Applied to the 9 e2e/setup workflows with executable registry installs (12 jobs total). Deliberately NOT applied around `npm publish` (artifact/release lanes): a publish is non-idempotent, so a fetch-retry re-POST can trip E409 / double-publish, which is worse than the original failure mode. Documents the required pattern in reference/testing.md so new lanes inherit it.
📦 Merged Build PublishedThis merge to master was published as npm install -g billion-context@0.0.221-master.fd9aea2 # this exact build
npm install -g billion-context@master # always the newest merged build
|
实际使用背景
这个问题来自 macOS 上通过 bili 代理 Codex Desktop agent 请求的实际长会话使用。最初的现象是历史较长的会话长时间没有回复。排查发现,正式模型请求发出前,bili 正在进行 preflight 历史压缩;一次处理持续约 5 分半钟,期间客户端连接断开,日志已记录
summarization aborted: client disconnected,但随后仍继续进入请求准备流程。日志无法确定断开是主动取消、客户端超时,还是其他原因;也未据此确认该次请求最终产生了正式上游调用或费用。进一步检查源码,并使用真实 compression core、loopback HTTP 摘要服务器和客户端关闭事件构造回归,确认了一个独立的取消生命周期缺陷:部分摘要应用后,内容已经 fits 的结果可能覆盖取消状态;异步重建后的转发许可可能先于取消检查返回;新旧 AbortController 交接也可能错过已发生的关闭事件。这些路径使尚未发送的正式模型请求在客户端已经离开后仍可能被发起。
用户预期是:在 preflight/重建期间取消后,尚未发出的正式请求不再发送;已经成功应用的压缩仍保留供后续请求复用。此 PR 修复这一边界,不将其宣称为原长会话无回复的完整根因,也不包含压缩总耗时、模型窗口或 WebSocket 兼容性调整。
问题与改动
当长历史进入 preflight 后,客户端可能在部分摘要已经应用、或
await runPrepare()重建期间断开。原实现可能因为压缩后的 payload 已能放入窗口而丢弃aborted,或在检查取消之前返回Prepared,随后继续转发正式模型请求。此改动让客户端取消优先于所有 post-preflight 转发许可:取消后的正式上游调用应为 0;连接正常且内容 fits 时仍正常转发,已经完成的压缩块仍可复用。
Fixes #2539
根因与修复
src/preflight.ts):以前只在仍超窗口时返回failure。现在函数出口重新检查 signal,并保留所有aborted,允许fitsWindow: true与取消同时成立。src/server.ts):先保留重建/窗口判断结果,再检查客户端 signal 或 aborted failure,最后决定 fits / forward-once / no-progress / growth fail-open / image-arbitration。取消仍返回respond: false,不向已关闭客户端写错误响应。registerRequestAbort()与src/server/relay.ts):登记时继承旧控制器的取消状态,并检查 response / socket 已关闭状态;relay 对已经取消的请求直接返回,避免发起 fetch 或将取消误报成上游 timeout。普通摘要失败不等同于客户端取消:摘要 429 等失败,但连接正常且 payload fits 时,仍保留已有转发恢复行为。成功应用的压缩块与重建后的状态不回滚。 与 upstream auto-fold 整合时:保留连接正常时的 fail-open 与零进展退避;客户端取消先于两者判定,取消本身不触发摘要服务退避。
回归测试
新增
tests/preflight-client-abort.test.ts,使用真实 compression core、真实 loopback HTTP 摘要,以及真实下游 HTTPclient.destroy()/close事件验证交接;不是只模拟源码分支。 当前共 9 项测试:原有 8 项,加growth auto-fold 取消回归。fitsWindow可为 true,但必须保留 aborted 与已完成摘要新增的第 9 项在未修复 master
24194a60上于cancellation must override growth fail-open断言失败,当前分支通过。初次提交时,这 8 项测试在未修复的 master 副本上 7 项失败、正常转发对照 1 项通过,修复后全部通过。既有 preflight fail-fast / hold / Codex headroom / abort lifetime / request watchdog 回归亦通过,包括摘要失败但 fits 时仍转发的兼容行为。
验证
7201b454f7119bd9a1a65551940c703cd2315dd7,当前提交e5d9be2a1541a947b60aa4c568aac537985d6c54。git range-diff与上一版相比只有作者元数据变化,修复代码及 9 项取消链回归保持一致。npm run typecheck:通过。npm test:全量 5,304 tests,5,276 pass,0 fail,28 skipped,包括新增的 9 项取消链回归。npm run build:通过;dist-import-annotations通过。git diff --check:通过。E2E_CHECK=1 node --import tsx --test tests/e2e/e2e-codex.test.ts:探针执行完成,Codex CLI 0.161.0 与 dist 可用,但测试上游http://127.0.0.1:8199/v1的/models仍不可达;真实四阶段用例跳过。此前解决 auto-fold 冲突时,首轮全量为 5,303 tests / 5,274 pass / 1 fail / 28 skipped,失败是既有
issue2322-session-name.test.ts的会话名称清除断言;该用例依赖固定 50ms 等待异步 POST。当时当前分支与未修复 master 独立复测均 2/2 通过;没有修改 Pi 插件或该测试,随后重跑全量为 5,303 tests / 5,275 pass / 0 fail / 28 skipped。首轮结果不计作通过,仍保留此时序不稳定的观察。未执行真实 Codex / 真实上游的 ACP_TEST_E2E 四阶段验证:环境探针通过不代表真实 E2E 通过。合并前仍需在有测试上游的环境执行仓库规定的真实 E2E。全量默认套件保留其原有跳过门禁。验收按 typecheck → full test → build 顺序执行。
已复核相关 Issue #568(preflight 保活)与 #2438(历史覆盖丢失后的持续压缩/超时循环);本次处理的是取消状态被 fits / 控制器交接覆盖的独立缺口。
范围与限制
只改 3 个生产文件及 1 个回归测试文件;没有修改 kernel、配置、版本、依赖或 lockfile,也未修改/重启运行中的 bili 与 Codex。
此 PR 修复可复现的取消生命周期缺陷,不把它宣称为所有长会话无回复的完整根因;不包含 preflight 总时长限制、窗口策略或 WebSocket/MITM 兼容性调整。