Skip to content

建议:客户端侧连接请优雅关闭(close_notify+FIN),避免向下游客户端发出 RST #1982

Closed

Description

@chenshuangci

现象(下游侧两次取证)

环境:Windows,billion-context 0.1.180,MITM 模式(本地 CA);下游客户端是 ZCode agent(模型流量经 httpProxy 127.0.0.1:8787 走贵代理,上游为 opencode.ai / bigmodel 等 LLM 网关)。

2026-09-26 与 2026-10-03 两次取证到同一现象:

  • 下游一条模型流(HTTPS 隧道)完整响应结束后约 60–190ms,下游客户端 socket 收到 RST(ECONNRESET);
  • 该链路上此类"响应完成后"的客户端侧 RST 历史上例行发生(下游侧可观察到 196 次),绝大多数无感,两次恰好击穿了下游客户端自身的一个脆弱点(详见下"责任说明"),导致其进程崩溃、长任务静默中断数小时。

机制定位(已定位到关闭形态;最后一跳的内核级触发条件请维护者核对)

下游侧用贵方 dist/index.js.map 内嵌的原始源码(sourcesContent)+ bili.log 的连接生命周期台账(#1452 ledger)做了交叉取证,结论如下(时间戳 UTC,日志节选自 2026-10-03 事故窗口):

03:11:06.129 [conn#18962] tls closed reason=server-end age=29839ms reqs=1   ← 本次完成的模型流
03:11:06.129 [conn#18961] tcp closed reason=destroyed  age=29840ms reqs=0   ← 同一条 CONNECT 的裸 TCP 层
03:11:06.374  mitm ...:443 tunnel established                              ← 下游发起了下一次请求(新 CONNECT)
03:11:06.412  forward POST → .../chat/completions
03:11:06.746  mitm ...:443 TLS error: read ECONNRESET                       ← bili 读到下游进程临死的 RST(果,非因)
03:11:06.746 [conn#18966] tcp closed reason=destroyed / [conn#18967] tls closed reason=error(ECONNRESET)
  1. 正常关闭形态 = TLS 层优雅 end() + 裸 TCP 层 destroy()。台账统计(本窗口 3604 次 server-end)显示每次响应完成后的关闭都是 tls reason=server-end 配对 tcp reason=destroyed,无一例外——裸 socket 从不走 end()。源码侧(src/mitm.ts doMitm)同样如此:TLS 在裸 clientSocket 上终结后交给 http server,全部错误路径(tlsSocket.on("error")、握手超时)直接 destroy() 双 socket,没有任何路径对裸 socket 做排空后 end()。
  2. RST 的产生位置即这一步:TLS close_notify 等最终字节刚写入、尚未在内核层完成传输/ACK 时,同 tick 的裸层 destroy() 会使 close 落为 abortive,下游内核收到 RST 而非 FIN。这是一个竞态——多数时候字节已送达(表现为无害关闭),少数时候 RST 击中下游。具体的内核级触发条件(send buffer 未冲刷 vs recv buffer 未读残留)请维护者核对。
  3. 方向说明(避免误读台账):03:11:06.746 的 TLS error: read ECONNRESET 是 bili 读到下游的 RST——下游进程在该时刻前已因上述 RST 崩溃(事件链见责任说明),其进程退出把手中一个进行中的新请求 socket abortive 关闭,bili 侧如实记了这条。它是果,不是因。

贵方在 clientError 路径已做过同类治理(#1452/#1529 的 drain-then-end,注释里明确写过 "peer reads ECONNRESET — the #1452 incident signature")。本 issue 指出的是:响应完成后的正常关闭路径仍是 destroy 形态,同一类问题还剩这最后一段。

责任说明(先摆清,避免误读)

下游客户端(ZCode)对"请求完成后 socket 上的连接级错误"处理有缺陷,属于其自身 bug,已向其官方另行反馈——客户端本应容忍任意时刻的 RST,这不是 billion-context 的责任。本 issue 的诉求基于另一层理由:作为 MITM/TLS 终结方的代理,对客户端侧连接提供优雅关闭,是对齐 TLS 规范与主流代理惯例的低成本改进,能整体消除一类下游脆弱性。

建议

请求一(核心):裸 clientSocket 的关闭也走优雅路径。 src/mitm.ts doMitm 中,TLS 层关闭后对底层 clientSocket 补 end()(让 close_notify+FIN 完整落地);错误路径先排空再 end,仅在极端情况(对端无响应、资源保护)退回 destroy()。这样:

  • 响应完成后的关闭:客户端收到 close_notify+FIN,池化连接可正常回收,对下游零信息量损失;
  • 响应进行中的异常:通过 HTTP 语义表达(来得及则回 502/504;来不及则正常关闭,HTTP 帧层面客户端可检测截断并重试),而非 socket 层 RST。参考 nginx(上游错误→502+下游 lingering close)、envoy(upstream reset→下游 503)的既有模式。

请求二:把"abortive 关闭"从 debug 台账升级为可观测信号。 #1452 ledger 已经很好(每连接一条 reason=...);但正常路径的 tcp reason=destroyed 目前混在 debug 级、且无独立标记。建议:客户端侧发生 abortive 关闭(destroy 落地)时打一条 warn 级带连接 id 的日志,便于下游报告"我在 T 时刻收到 RST"时直接对账——本次定位能闭环,正是靠下游自己的时间线反推。

请求三(可选):连接生命周期参数文档化。 源码中已有 BILI_KEEP_ALIVE_TIMEOUT_MS(#1452)与 BILI_CLIENT_ERROR_BACKSTOP_MS(#1529),README 未见提及;若文档化,下游可自行调优(本次事故与 5s keep-alive 无关,仅为配套建议)。

环境

  • billion-context 0.1.180,Windows,MITM 模式
  • 下游:ZCode agent runtime 0.16.9(httpProxy → 127.0.0.1:8787)
  • 下游侧两次事故的完整取证(毫秒级时间线、崩溃指纹、事件日志)可按需提供

Activity

  1. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 结论先行:三个请求均已实现,PR #1985 已开(等 CI + 人工合并)。结构化七问如下:

    1. 是什么问题:代理在响应完成后主动关闭客户端连接(Connection: close)时,下游 socket 可能收到 RST 而非 close_notify+FIN——你们两次取证(2026-09-26 / 10-03,60–190ms 窗口、台账 tls reason=server-end 配 tcp reason=destroyed)定位的正是这条路径。

    2. 什么原因导致的:已在 Node 内核实证根因:对最后一个响应,resOnFinish → socket.destroySoon() 在同一 tick 内执行 end() 和 destroy()——end() 写出的 close_notify/最终字节在 close(fd) 落地时可能尚未被 ACK,内核遂把关闭降级为 abortive 形态(发 RST 而非 FIN)。MITM 腿还有一层结构性因素:Node 的 TLSWrap.close() 会直接 destroy() 底层裸 socket,裸层从不走 end()——这正是台账里 server-end 与 destroyed 100% 配对的原因。RST 是否击中取决于发送缓冲冲刷的时序竞态,与你们「例行发生、绝大多数无感」的观察一致。

    3. 怎么修复的:对客户端侧 socket(plain-TCP 与 MITM TLS 两条腿统一)拦截 destroy():当且仅当关闭发生在「已完成响应之后」且无错误/排空状态时,resume() 排空接收侧并持有 fd,直到收到对端的关闭信号(TCP FIN 或 TLS close_notify——两者都只能在我方最后字节被接收+ACK 之后到达;这是 Node 暴露的唯一交付证明,没有 SO_LINGER/ACK-state API),然后干净关闭。静默对端最多占用一个预算期(默认 5s,对齐 nginx lingering_time),超时销毁并打 warn。观测性(请求二):真正 abortive 的关闭从 debug 升为 warn 并带 [ABORTIVE — peer may see RST/ECONNRESET] 标记+连接 id,你们的「T 时刻收到 RST」可直接对账 bili.log;MITM 正常关闭的裸腿新增 paired-clean 分类(避免每次正常关闭都误报 abortive),backstop 路径分类为 linger-backstop。

    4. 是否有回归问题:逐项审过既有行为:keep-alive 回收节奏不变(测试 step 3 专门钉住 idle-timeout 不被新机制抢跑);clientError 排空路径(#1529)经 gate 保持独占所有权(仍分类 clienterror-backstop);错误驱动关闭、握手前拆除、kat reaper 一律原样直通;wire 形态、压缩管道(两种模式)、持久化、prompt cache 全部未触碰。唯一有意的语义变更在 PR 正文表格中披露(post-response 关闭:立即 destroy → linger≤5s→干净关闭;abortive 台账行 debug→warn;新增两个 additive reason)。另有两个附带事项均独立披露:① 顺手修了一个真 bug(单独 commit):doMitm 的 upstream key 丢了 CONNECT 端口(https://<host>),导致所有非 443 的 MITM 隧道被误路由到 :443——做本 PR 测试时(mock upstream 用非默认端口)暴露;443 路径字节级不变。② blind tunnel(透明字节管道)无「响应完成」语义、不在本 PR 范围,已单独立项 #1986(带来源标记),等 owner 拍板方向。

    5. 是否破坏缓存:不涉及——未触碰任何缓存/重试/增量游标/去重键逻辑。

    6. 是否改了设计方向:没有——修法是 #1452/#1529 已确立的治理思路(drain-then-end,不让 peer 读到 ECONNRESET)从错误路径向正常 post-response 路径的自然延伸;机制挂在连接台账旁(server.ts),不改变请求管线架构。

    7. 是否引入了新的配置:是,一个新 env var:BILI_POST_RESPONSE_LINGER_MS,默认 5000ms(非数字/非正值回退默认),对齐 nginx lingering_time;归入既有 BILI_* 超时家族(与 BILI_KEEP_ALIVE_TIMEOUT_MS 同类 seam),仅 env、无 config file key、无需迁移。请求三(文档化)已顺手完成:BILI_KEEP_ALIVE_TIMEOUT_MS / BILI_CLIENT_ERROR_BACKSTOP_MS / 新变量三者均已写入 CONFIGURATION.md(中英)+ README 新小节。

    验证证据:新增 tests/graceful-close.test.ts(真实 bili 子进程:真 CONNECT/TLS 握手、bili 自签测试 CA、mock upstream),约 4s 五步——① 正常关闭:客户端见干净 EOF、无 ECONNRESET、台账 paired-clean;② 静默对端 backstop:warn+linger-backstop;③ idle reaper 保持 idle-timeout 不被抢跑;④ 握手前拆除仍走 abortive warn;⑤ plain-TCP 直连腿同样优雅。本地连续 4 次全绿+tests/mitm.test.ts 21/21+typecheck/build 干净;全量回归交 CI。

    判定:CI 绿即可合并。责任分层认同你们的说明——ZCode 容错缺陷是客户端自身问题;但作为 TLS 终结方提供优雅关闭是低成本对齐惯例,修复后「响应完成后 RST」这一类事件在 bili 侧应不再产生。

  2. ranxianglei commented on Oct 3, 2026

    @ranxianglei
    Owner

    🤖 Powered by ework · qwen3.8-27b

    [bot] 🏷 收尾状态更新:PR #1985 的 CI 已全部跑完——15/15 检查全绿、0 失败(含 ubuntu/windows × Node 22/24 全量回归、e2e、build-artifact、version-guard 及各真实客户端 lane)。上面那条七问回复中的各项交付(修复+观测性+文档+测试+顺手修的端口路由 bug)均已落地,blind-tunnel 遗留项在 #1986 跟踪。当前无阻塞,等人工 review/合并即可;如合并后需要我补 release notes 条目或跟进 #1986 的方案拍板,说一声即可。

  3. added a commit that references this issue on Oct 3, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingp1

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions