Repository navigation
Description
现象(下游侧两次取证)
环境:Windows,billion-context 0.1.180,MITM 模式(本地 CA);下游客户端是 ZCode agent(模型流量经 httpProxy 127.0.0.1:8787 走贵代理,上游为 opencode.ai / bigmodel 等 LLM 网关)。
2026-09-26 与 2026-10-03 两次取证到同一现象:
- 下游一条模型流(HTTPS 隧道)完整响应结束后约 60–190ms,下游客户端 socket 收到 RST(ECONNRESET);
- 该链路上此类"响应完成后"的客户端侧 RST 历史上例行发生(下游侧可观察到 196 次),绝大多数无感,两次恰好击穿了下游客户端自身的一个脆弱点(详见下"责任说明"),导致其进程崩溃、长任务静默中断数小时。
机制定位(已定位到关闭形态;最后一跳的内核级触发条件请维护者核对)
下游侧用贵方 dist/index.js.map 内嵌的原始源码(sourcesContent)+ bili.log 的连接生命周期台账(#1452 ledger)做了交叉取证,结论如下(时间戳 UTC,日志节选自 2026-10-03 事故窗口):
03:11:06.129 [conn#18962] tls closed reason=server-end age=29839ms reqs=1 ← 本次完成的模型流
03:11:06.129 [conn#18961] tcp closed reason=destroyed age=29840ms reqs=0 ← 同一条 CONNECT 的裸 TCP 层
03:11:06.374 mitm ...:443 tunnel established ← 下游发起了下一次请求(新 CONNECT)
03:11:06.412 forward POST → .../chat/completions
03:11:06.746 mitm ...:443 TLS error: read ECONNRESET ← bili 读到下游进程临死的 RST(果,非因)
03:11:06.746 [conn#18966] tcp closed reason=destroyed / [conn#18967] tls closed reason=error(ECONNRESET)
- 正常关闭形态 = TLS 层优雅 end() + 裸 TCP 层 destroy()。台账统计(本窗口 3604 次 server-end)显示每次响应完成后的关闭都是
tls reason=server-end配对tcp reason=destroyed,无一例外——裸 socket 从不走 end()。源码侧(src/mitm.tsdoMitm)同样如此:TLS 在裸 clientSocket 上终结后交给 http server,全部错误路径(tlsSocket.on("error")、握手超时)直接destroy()双 socket,没有任何路径对裸 socket 做排空后 end()。 - RST 的产生位置即这一步:TLS close_notify 等最终字节刚写入、尚未在内核层完成传输/ACK 时,同 tick 的裸层
destroy()会使 close 落为 abortive,下游内核收到 RST 而非 FIN。这是一个竞态——多数时候字节已送达(表现为无害关闭),少数时候 RST 击中下游。具体的内核级触发条件(send buffer 未冲刷 vs recv buffer 未读残留)请维护者核对。 - 方向说明(避免误读台账):03:11:06.746 的
TLS error: read ECONNRESET是 bili 读到下游的 RST——下游进程在该时刻前已因上述 RST 崩溃(事件链见责任说明),其进程退出把手中一个进行中的新请求 socket abortive 关闭,bili 侧如实记了这条。它是果,不是因。
贵方在 clientError 路径已做过同类治理(#1452/#1529 的 drain-then-end,注释里明确写过 "peer reads ECONNRESET — the #1452 incident signature")。本 issue 指出的是:响应完成后的正常关闭路径仍是 destroy 形态,同一类问题还剩这最后一段。
责任说明(先摆清,避免误读)
下游客户端(ZCode)对"请求完成后 socket 上的连接级错误"处理有缺陷,属于其自身 bug,已向其官方另行反馈——客户端本应容忍任意时刻的 RST,这不是 billion-context 的责任。本 issue 的诉求基于另一层理由:作为 MITM/TLS 终结方的代理,对客户端侧连接提供优雅关闭,是对齐 TLS 规范与主流代理惯例的低成本改进,能整体消除一类下游脆弱性。
建议
请求一(核心):裸 clientSocket 的关闭也走优雅路径。 src/mitm.ts doMitm 中,TLS 层关闭后对底层 clientSocket 补 end()(让 close_notify+FIN 完整落地);错误路径先排空再 end,仅在极端情况(对端无响应、资源保护)退回 destroy()。这样:
- 响应完成后的关闭:客户端收到 close_notify+FIN,池化连接可正常回收,对下游零信息量损失;
- 响应进行中的异常:通过 HTTP 语义表达(来得及则回 502/504;来不及则正常关闭,HTTP 帧层面客户端可检测截断并重试),而非 socket 层 RST。参考 nginx(上游错误→502+下游 lingering close)、envoy(upstream reset→下游 503)的既有模式。
请求二:把"abortive 关闭"从 debug 台账升级为可观测信号。 #1452 ledger 已经很好(每连接一条 reason=...);但正常路径的 tcp reason=destroyed 目前混在 debug 级、且无独立标记。建议:客户端侧发生 abortive 关闭(destroy 落地)时打一条 warn 级带连接 id 的日志,便于下游报告"我在 T 时刻收到 RST"时直接对账——本次定位能闭环,正是靠下游自己的时间线反推。
请求三(可选):连接生命周期参数文档化。 源码中已有 BILI_KEEP_ALIVE_TIMEOUT_MS(#1452)与 BILI_CLIENT_ERROR_BACKSTOP_MS(#1529),README 未见提及;若文档化,下游可自行调优(本次事故与 5s keep-alive 无关,仅为配套建议)。
环境
- billion-context 0.1.180,Windows,MITM 模式
- 下游:ZCode agent runtime 0.16.9(httpProxy → 127.0.0.1:8787)
- 下游侧两次事故的完整取证(毫秒级时间线、崩溃指纹、事件日志)可按需提供
Activity
ranxianglei commentedon Oct 3, 2026
[bot] 🏷 结论先行:三个请求均已实现,PR #1985 已开(等 CI + 人工合并)。结构化七问如下:
1. 是什么问题:代理在响应完成后主动关闭客户端连接(
Connection: close)时,下游 socket 可能收到 RST 而非 close_notify+FIN——你们两次取证(2026-09-26 / 10-03,60–190ms 窗口、台账tls reason=server-end配tcp reason=destroyed)定位的正是这条路径。2. 什么原因导致的:已在 Node 内核实证根因:对最后一个响应,
resOnFinish → socket.destroySoon()在同一 tick 内执行end()和destroy()——end() 写出的 close_notify/最终字节在 close(fd) 落地时可能尚未被 ACK,内核遂把关闭降级为 abortive 形态(发 RST 而非 FIN)。MITM 腿还有一层结构性因素:Node 的TLSWrap.close()会直接destroy()底层裸 socket,裸层从不走 end()——这正是台账里 server-end 与 destroyed 100% 配对的原因。RST 是否击中取决于发送缓冲冲刷的时序竞态,与你们「例行发生、绝大多数无感」的观察一致。3. 怎么修复的:对客户端侧 socket(plain-TCP 与 MITM TLS 两条腿统一)拦截 destroy():当且仅当关闭发生在「已完成响应之后」且无错误/排空状态时,resume() 排空接收侧并持有 fd,直到收到对端的关闭信号(TCP FIN 或 TLS close_notify——两者都只能在我方最后字节被接收+ACK 之后到达;这是 Node 暴露的唯一交付证明,没有 SO_LINGER/ACK-state API),然后干净关闭。静默对端最多占用一个预算期(默认 5s,对齐 nginx
lingering_time),超时销毁并打 warn。观测性(请求二):真正 abortive 的关闭从 debug 升为 warn 并带[ABORTIVE — peer may see RST/ECONNRESET]标记+连接 id,你们的「T 时刻收到 RST」可直接对账 bili.log;MITM 正常关闭的裸腿新增paired-clean分类(避免每次正常关闭都误报 abortive),backstop 路径分类为linger-backstop。4. 是否有回归问题:逐项审过既有行为:keep-alive 回收节奏不变(测试 step 3 专门钉住
idle-timeout不被新机制抢跑);clientError 排空路径(#1529)经 gate 保持独占所有权(仍分类clienterror-backstop);错误驱动关闭、握手前拆除、kat reaper 一律原样直通;wire 形态、压缩管道(两种模式)、持久化、prompt cache 全部未触碰。唯一有意的语义变更在 PR 正文表格中披露(post-response 关闭:立即 destroy → linger≤5s→干净关闭;abortive 台账行 debug→warn;新增两个 additive reason)。另有两个附带事项均独立披露:① 顺手修了一个真 bug(单独 commit):doMitm的 upstream key 丢了 CONNECT 端口(https://<host>),导致所有非 443 的 MITM 隧道被误路由到 :443——做本 PR 测试时(mock upstream 用非默认端口)暴露;443 路径字节级不变。② blind tunnel(透明字节管道)无「响应完成」语义、不在本 PR 范围,已单独立项 #1986(带来源标记),等 owner 拍板方向。5. 是否破坏缓存:不涉及——未触碰任何缓存/重试/增量游标/去重键逻辑。
6. 是否改了设计方向:没有——修法是 #1452/#1529 已确立的治理思路(drain-then-end,不让 peer 读到 ECONNRESET)从错误路径向正常 post-response 路径的自然延伸;机制挂在连接台账旁(server.ts),不改变请求管线架构。
7. 是否引入了新的配置:是,一个新 env var:
BILI_POST_RESPONSE_LINGER_MS,默认5000ms(非数字/非正值回退默认),对齐 nginxlingering_time;归入既有 BILI_* 超时家族(与BILI_KEEP_ALIVE_TIMEOUT_MS同类 seam),仅 env、无 config file key、无需迁移。请求三(文档化)已顺手完成:BILI_KEEP_ALIVE_TIMEOUT_MS/BILI_CLIENT_ERROR_BACKSTOP_MS/ 新变量三者均已写入 CONFIGURATION.md(中英)+ README 新小节。验证证据:新增
tests/graceful-close.test.ts(真实 bili 子进程:真 CONNECT/TLS 握手、bili 自签测试 CA、mock upstream),约 4s 五步——① 正常关闭:客户端见干净 EOF、无 ECONNRESET、台账paired-clean;② 静默对端 backstop:warn+linger-backstop;③ idle reaper 保持idle-timeout不被抢跑;④ 握手前拆除仍走 abortive warn;⑤ plain-TCP 直连腿同样优雅。本地连续 4 次全绿+tests/mitm.test.ts21/21+typecheck/build 干净;全量回归交 CI。判定:CI 绿即可合并。责任分层认同你们的说明——ZCode 容错缺陷是客户端自身问题;但作为 TLS 终结方提供优雅关闭是低成本对齐惯例,修复后「响应完成后 RST」这一类事件在 bili 侧应不再产生。
ranxianglei commentedon Oct 3, 2026
[bot] 🏷 收尾状态更新:PR #1985 的 CI 已全部跑完——15/15 检查全绿、0 失败(含 ubuntu/windows × Node 22/24 全量回归、e2e、build-artifact、version-guard 及各真实客户端 lane)。上面那条七问回复中的各项交付(修复+观测性+文档+测试+顺手修的端口路由 bug)均已落地,blind-tunnel 遗留项在 #1986 跟踪。当前无阻塞,等人工 review/合并即可;如合并后需要我补 release notes 条目或跟进 #1986 的方案拍板,说一声即可。
Merge pull request #1985 from ranxianglei/2026-10-03_mitm-graceful-close
fix(server): linger for peer close signal on post-response client clo…
fix(mitm): preserve non-default CONNECT port in upstream key
feat(knobs): migrate BILI_POST_RESPONSE_LINGER_MS to network.postResp…
fix: force-close cuts through armed post-response linger sockets (#2895)
fix(server): closeAllConnections() cuts through the post-response lin…