Repository navigation
[PR] Over-window requests no longer sent raw upstream: three forwarding gates metered by actual outbound body size + 32 MiB c | 超窗请求不再裸发上游:三道转发闸按真实出站体计量 + 大请求 32MiB 成本带准入 (#5000 #4543 #5885 #5794) - #5932
Conversation
自评(默认流程,rule 11)改了什么 / 为什么
自查结论
已知限制(如实)
回归面:413 走既有 |
📦 Built Package ArtifactBranch: Latest build — install this exact versionnpm install -g billion-context@0.0.8613-pr.5932.4e49b7eThis exact version is immutable and reproducible. The rolling Recent builds (commit → version)
Download artifact
tar xzf billion-context-pr5932.tgz
npm install -g packageInstall instructions are refreshed on each push. |
自评(默认流程,发现的小问题已直接修完;本条为评审记录)改了什么(4 个机制,4+4 文件)
验证:tsc 干净;既有 89 用例(4 核心套件)+ 15 邻居套件 67 用例全绿(issue3013/2847/3384/3071/5278/preflight-round-budget/3918/4894/fix-arm-headroom-clamp/3846/496/1839-ghost/4205/fix-1001/767)。 自查发现并已处理的小问题
已知限制(如实报告,不修)
行为变化清单:必然超窗且量得出的体 → 本地 413(原先会转发/裸发);量不出的体 → 旧行为不变;未压缩 >32MiB 体 → 占成本准入槽位(原先只有 >5GiB 才占);探针/图片仲裁/小体量直通 → 逐字节不变。 |
自评(rule 11 默认流程:直接发评审,小问题已在分支上修完)自查发现并已修(同一 commit c901a72 内)
已知边界(如实报告,不掩盖)
回归面
给合并者的提示
|
自评(rule 11 默认流程:直接发评审,小问题已在分支上修完)自查发现并已修(同一 commit c901a72 内)
已知边界(如实报告,不掩盖)
回归面
给合并者的提示
|
CI 失败修复(d81ea7389)ci:full 四 lane 全挂同一个测试组合,已定位并修掉,两个失败同一根因、两层: 失败 1 — 失败 2 — 误伤面确认:#5000(84 工具纯文本)/#4543(CJK 纯文本)/#5885(2M 纯文本)全部不含图片,计量档对它们的行为不变(本地 e2e 全绿)。 验证(本地,sanitized env):
等 ci:full 复跑。 |
(ai: vllm-qwen/qwen3.8-27b) [bot] 🏷 中期报告(独立复审进行中,最终八问结论随后补) 查重:不重复——「超窗请求转发闸」主题在 open/closed issue 与 PR 中均无重叠项。 独立验证进展(非复述自评):
|
(ai: vllm-qwen/qwen3.8-27b) 查重: 不重复。镜像 open+closed issue/PR 检索(超窗/转发/413/计量/egress fuse/admission)与 GitHub open-PR 检索(request-body-budget)均无同机制条目。最近邻 #5613(dsh-gate 双档计价 422)是不同闸、不同尺子、不同状态码——互补,非重复。 标签: bug, dsh, scope/wiring, p1(四个源 issue 全在 dsh 车道;#5794 FATAL 自重启属「内存涨到进程死亡」类 → p1) CI 状态(读镜像缓存 + 本地复现): 30 checks,26 绿(static-gates 全绿),4 红 = test shard "1" × {ubuntu,windows}×{node22,node24}。本地把 shard-1 全量跑完(3364 tests)复现同样 13 个失败。A/B 对照:同一批文件在 origin/master tip(354e21e23a)上跑出同样的 11 个失败 → 这 11 个是继承性 master 红,与本 PR 无关(两树 kernel/、pi-subagents/、package-lock.json 逐字节一致,排除构建漂移;master 领先的 10 个提交全是 docs/dsh-lane 小修,不触碰这些域)。本 PR 新引入 2 个: 回归发现(拦下原因)——两个缺陷,同一根因家族:计量器把图片负载当文本计。 D1(机械缺陷,修法明确): D2(设计缺陷,需作者拍板并留痕): 闸的比较式把估算的图片量( 已核实为真的部分(逐项过过): handle.ts 次要披露(非拦下项): 计量器保守多计 role/id/结构串(约 10-15 tok/条 ASCII 折算),马拉松高消息数会话若真实 input 落在 (窗口−overhead, 窗口) 区间,可能在仲裁点触发旧行为会放行且上游本可接受的局部 413。方向安全(宁可 413 不漏放),窄角落,自评已知限制 2 已披露,接受。 行为变更清单:
流程缺口: #5885 defect 4( 八问:
结论:拦下。 合并条件:① D1—— |
CI 四 lane 全挂两个 e2e,同一根因两层: 1) estimateRawBodyTokens 的排除集漏了 image_url(responses 车道图片的 data-URL 直接挂在这个键上)——40MB 截图体被当成 ~10M「文本 token」,我的出站熔断 计量档把 #3701 的 WS shed+重发体 413 了;侧车道/元数据记账也双重计费。 补进 NON_TEXT_BODY_KEYS,对齐 #554 注释本意(图片由 imageTokensInParsedBody 单独计)。 2) 压缩后再检闸与 #1839 臂的比较式 raw + imageTokens > 窗口 正好杀死了 #496/#1800 的「文本过线、图片单独超窗 → 转发计费仲裁」契约(#857 A 回归)。 判死只比文本量(计量器排除图片后天然 text-only),图片超窗归仲裁域。 tests: side-request-isolation 加 image_url 排除钉;两个实测档 e2e 的措辞钉 跟着新消息(TEXT tokens)更新。本地 244 用例全绿(857/3701/496/图片 173 + 核心 22 + 邻居 55)。
d81ea73 to
6bc3ec5
Compare
|
按 owner 要求以活 master(3ac3e95c0,含 #5917 first-byte-budget / #5922 opencode 小修 / #5936 docs nav)复验后 rebase:干净无冲突(#5917 只动上游 summary 调用的 first-byte 预算与 watchdog/preflight 日志,与本 PR 的计量档/熔断/准入不交叠)。本地 sanitized 回归:核心 6 套件(4079/4185/admission/857/3701/496)28/28 + doom 邻居 14 套件 66/66 + tsc 干净。新 tip:6bc3ec58f。等 ci:full。 |
|
(ai: vllm-qwen/qwen3.8-27b) Heads-up from the #5937 fix (PR #5944): once that lands, this PR's measured-token bars need a 2-line rewire to honour an explicit session-level compress.modelContextLimit — armMeasuredBar / gateMeasuredBar (and the relay fuse token tier) currently use raw resolvedNativeWindow, while preflightCompressIfNeeded will then expose meteringWindow = operator cap > raw native > undefined. Suggested: rebase onto master after #5944 merges and switch those bars to meteringWindow ?? limit. Filed here rather than as a separate issue since it's the same mechanism family (metering bars ignoring the operator cap). |
(ai: vllm-qwen/qwen3.8-27b) Heads-up received and independently verified — the claim is accurate, and my inspection refines the estimate slightly in your favor: Verification
Current state
Sequencing recommendation (owner decides)
八问(第四轮更新)
判定:代码面全部就绪(ci:full 30/30 绿、rebase 坐活 master、#5939 跟进 issue 已立且修复 PR #5944 在途);剩唯一事项是合并顺序拍板——推荐 Option A(#5944 先合,本 PR rebase 时吸收 2 行改写后合入,不开第三个 PR)。owner 拍板后我立即执行对应动作。 |
📦 Merged Build PublishedThis merge to master was published as npm install -g billion-context@0.0.1088-master.fe963d7 # this exact build
npm install -g billion-context@master # always the newest merged build
|
…ess fuse Upstream delta 3ac3e95..fe963d7 (10 files, 3 commits): - 2e02110 fix: oversized requests are no longer forwarded blind — three forwarding gates meter the ACTUAL outbound body and a 32 MiB cost band gates admission (ranxianglei#5000 ranxianglei#4543 ranxianglei#5885 ranxianglei#5794) - 6bc3ec5 fix: the meter also counts the responses lane image_url keys; the doom check compares text volume only (CI regression ranxianglei#3701/ranxianglei#857) - fe963d7 Merge pull request ranxianglei#5932 The only overlapping file is src/server/relay.ts, and the two sides touch different regions: upstream adds measuredOutboundTokens() to the forwardCaptured egress fuse (line 743), the lane keeps its non-streaming compact egress on pipePluginJson (line 2097). Both verified present after the auto-merge. kernel stayed at 0.0.187 and was rebuilt before measuring. Lane anchors intact: src/server/relay.ts:2097 still calls `pipePluginJson(toClient, res, undefined, prepared.protocol, ...)`, src/storage/mysql.ts:77 still exports MYSQL_SCHEMA_VERSION, symbols unchanged (stripDriftResidue 6, isDraftDump 6, containsRenderTagText 21, mayStartDegenerateRenderTag 6, DRIFT_BARE_MISMATCH 3, DRAFT_CLOSE_TAIL 3). Gates: tsc 0, four guards 0, gen-config-docs fixed point. Tests: issue5175 58/0, tag-echo 79/0, issue2190 32/0, golden-storage-render 5/0, storage-engine-proofs 12/0, native-compact-terminal 1/0, issue4666 2/0, plus the four upstream suites touched by this delta: issue4079-egress-window-fuse 4/0, issue4185-identified-fresh-forward 5/0, request-body-budget 4/0, side-request-isolation 34/0.
一句话
超窗请求不再裸发上游:三道「转发仲裁闸」改按真实出站体逐字符 token 计量(含 system/tools/参数,CJK 感知),对照真实模型窗口本地 413;另外未压缩大请求纳入 32MiB 成本带准入。修 #5000 #4543 #5885 的「必然 400 的体被转发出去烧钱」与 #5794 的「51.2MiB/轮独占事件循环 → 自重启」。
背景:旧判据量的是投影,不是真实出站体
旧的三道 doom 闸全部用
estimateCoreMessagesUpperBytes(只累加消息核心文本的字节),结构性看不见system/tools[]/tool_calls[].function.arguments/ JSON 信封:egress window fuse= 0);真实体的计量器其实早就存在(
estimateRawBodyTokens,#554 侧车道同源尺子:走解析后请求体的全部字符串叶,CJK 感知,保守多计),但只用在元数据记账,没接到任何决策闸上。改动(按机制)
A+B:三道转发闸按真实出站体计量
src/server.ts:新增measuredOutboundTokens(prepared)(parsedBody 优先、JSON.parse 兜底、解析失败返回 undefined 走旧字节底线)。三个转发仲裁点各加一层「计量档」,过线本地 413(preflight_compress_failed、retryable:false、记 LocalRefusal):resolvedNativeWindow(无则 limit);src/server/relay.ts):计量值对照fuseWindow(声明窗口与 1M 常见下限取大,Context Window Overflow Issue Summary: Raw Requests Sent Directly to Upstream Rejected + Local Intercept Cooldown Lockin | 上下文超窗问题汇总:请求裸冲上游被拒 + 本地拦截冷却锁死会话(统一分析入口) #4079 契约不变)——[Bug] CJK payloads slip past the egress byte-floor fuse: a 4.1 MiB outbound was forwarded at 1,121,674 tok into a 1,000,000-token window (0.1.206, plugin lane) #4543 的 1.12M tok > 1,048,580 在此被拦。D:成本准入补路径
DecodedRequestAdmission阈值 = 收件上限([Bug/Enhancement] Codex 超过 100 MiB 的请求在 ACP 处理前断开:希望返回明确 413 并支持配置字节预算(#2606 后续) #3128 后默认 5GiB),2 槽位预算形同虚设;且observe只在解压回调里喂 —— 未压缩体根本不经过它([perf][dsh] 51.2 MiB / 29.6k-msg inbound has no cost admission - DecodedRequestAdmission only sees compressed bodies | 51.2 MiB 入站没有成本准入:admission 只覆盖压缩体 #5794 的 51.2MiB 纯 JSON 每轮 5.5–7.2s 独占事件循环、占本机 CPU 54.6% → 747s FATAL 自重启)。src/request-body-budget.ts:新增LARGE_DECODED_ADMISSION_BYTES = 32MiB,阈值改min(收件上限, 32MiB)(运维显式调低收件上限仍逐字节生效,单调);src/server/handle.ts:解码后对未压缩体补一次admission.observe(bytes)(已 admit 的幂等)。第三个并发大请求 → 503 retry-after 1。测试
tests/issue4079-egress-window-fuse.test.ts:+[Bug][dsh][0.1.208] Kill switch / egress fuse only measures message.text: a session with 26,903 messages and only 1.44 M | [Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.… #5000 形状 e2e(小核心文本 + 120 工具 ≈1.2M 计量 > 1M 下限 → 413 零转发);+CJK [Bug] CJK payloads slip past the egress byte-floor fuse: a 4.1 MiB outbound was forwarded at 1,121,674 tok into a 1,000,000-token window (0.1.206, plugin lane) #4543 e2e(1.12M 个汉字 ≈1.12M tok、3.4MB « 7.5MB 字节底线 → 熔断 413);8.6MB 旧钉改计量措辞。tests/issue4185-identified-fresh-forward.test.ts:+300K 计量档 e2e(≈75K tok > 40K 原生窗口、300KB « 2MB 字节底线 → 413);134K 适配例保持 200(计量 < 原生窗口,headroom 是策略不是物理)。tests/request-body-budget.test.ts:32MiB 成本带两阶段顺序用例(2 槽 + 第 3 个抛、release 后可重入、收件上限仍为上限)。说明与边界
compress.modelContextLimit被忽略是独立缺陷(配置没接到窗口解析链),本 PR 不修,另行跟进。Refs: #5000 #4543 #5885 #5794 #4185 #3146 #1839 #2313 #2490 #1001 #4079 #554 #3128 #496 #1800 #1117