Repository navigation
[PR] Hard-block session history over-limit along real dimensions: message-count gate + 32MiB ingestion cost band + fatal erro | 会话历史超限按真实维度拦死:条数闸 + 32MiB 摄入成本带 + 判死信息点名超重字段 (#5000 #5794 #5885) - #5973
Conversation
|
自评(自查已修 2 项,均已在本分支内修正):
自查未修、说明原因:
回归面:332 用例全绿(23 套件,含 #5932 的全部既有钉与 #3701/#857/#496 图片/WS 面),tsc 干净,config-surface / lifecycle-ledger 双 guard 通过。 |
📦 Built Package ArtifactBranch: Latest build — install this exact versionnpm install -g billion-context@0.0.8695-pr.5973.ba9fe86This exact version is immutable and reproducible. The rolling Recent builds (commit → version)
Download artifact
tar xzf billion-context-pr5973.tgz
npm install -g packageInstall instructions are refreshed on each push. |
…onfig docs (#2107 drift guard)
|
CI 修复 commit 108b1fd(两个 guard 红,均非逻辑问题):
|
…trine #496/#3909) The band's premise "any parseable body over 32 MiB is >=~8M tokens" holds only for TEXT-dominated bodies: base64 pixels are excluded from the token meter by design (#496/#1800/#857), so an over-band IMAGE body is not automatically over-window. #3909's ~48 MiB image-dense chat requests would have been refused 413 stage=ingest on every turn by the default-on band — breaking a supported workload the outbound shed exists precisely for. - handle.ts: over-band refusal now requires countImagesInRawBody(...) === 0 (probe-gated, so text-dump rejection stays parse-free). The Responses-lane exemption is unchanged. - tests/issue5794-ingest-cap.test.ts: +1 e2e — an over-band body carrying two ~800 KB images must NOT be refused at ingest (200 + forwarded), on a 1M window where the pixels stay token-fit. - yaml/lifecycle/CHANGELOG: wording corrected to "text-dominated"; docs regenerated (gen-config-docs).
(ai: vllm-qwen/qwen3.8-27b) 查重:不重复 —— 本 PR 是 #5000/#5794/#5885 的实施,未发现其他同机制(会话历史按真实维度拦死)的在途条目。 标签: 审核结论:方向正确、实现质量达标;审出 1 处默认行为回归风险,已直接修进你的分支(fa447f9ce5),等该 head 上 CI 转绿即可合并。 验证过程(不止读 diff):
审出并已修复的回归(旧→新披露):32MiB 摄入成本带的前提「任何可解析的 32MiB+ 体 = ≥~8M token」对图片为主的体不成立——base64 像素按设计不进 token 计量(#496/#1800/#857「图片单独计费、绝不在原始字节上判死」),且 #3909 明确支持 ~48MiB 图片密集 chat 会话(出站 shed 就是为它存在的)。初版默认开的成本带会让这类会话每轮 413 stage=ingest——默认行为破坏受支持工作负载。修复:判死条件追加 CI 状态:两个 guard 红(unused-exports / docs-sync)经 108b1fd 修复已绿;全量 test matrix 分片在我审核时仍在队列等待(fleet 拥塞,非红)。我的 push 会触发 fa447f9 上的全套重跑——以那一轮为准。 八问:
判定:代码与测试达标,唯一审核发现已在分支内修复(fa447f9ce5)。fa447f9 上 CI 转绿后即可合并。 |
📦 Merged Build PublishedThis merge to master was published as npm install -g billion-context@0.0.1100-master.de7bbc9 # this exact build
npm install -g billion-context@master # always the newest merged build
|
打包修复 #5932 合并后四个 issue 里剩余可构建的部分(#5932 修的是「按真实出站体计量」;本 PR 修的是计量之外的三个独立维度/路径)。每个机制 → 文件 → 现场:
A. 条数闸 — #5000 item 2(消息条数:计量器永远看不见的维度)
#5000 的 55.2MiB 会话有 26,903 条消息。它穿过了所有既有闸门——核心文本 1.44MiB(2MiB 绝对线以下)、出站字节(1M 窗口 × 7.5 B/tok 线以下)、#5932 的新计量档(文本 token 达标)——然后在上游死于消息条数上限。条数无法被任何字节/token 估算表达(且每条消息还各带 ~69B 的 m-ref 标记,26,903 条 ≈ 1.8MB 纯标记),所以这道闸必须是独立的。
network.maxMessages/BILI_MAX_MESSAGES(src/knobs.ts,src/config.ts),默认 0=关闭——不存在全局「通用条数上限」(因上游而异,误配一个全局值会误杀合法长会话)。src/server.ts)与出站熔断(src/server/relay.ts)各一道:token 达标但条数超标的体(正是 [Bug][dsh][0.1.208] Kill switch / egress fuse only measures message.text: a session with 26,903 messages and only 1.44 M | [Bug][dsh][0.1.208] 判死/egress fuse 只量 message.text:26,903 条消息、core text 仅 1.44 MiB 的会话绕过 fuse 发出 55.2 MiB 请求体,被上游 413 拒收(ModelArts.… #5000 的形状)只有这里看得见。413 点名 COUNT 维度 + 可执行指引(重启或回退会话;不做条数折叠——一轮 preflight 的轮次预算关不掉 ~20K 条的缺口,规划器又是按 token 收益驱动的)。tests/issue5000-count-gate.test.ts(3 e2e:token 达标+条数超标→413 零上游调用 / 无 model 路径同判死 / 条数达标照常转发 200)。B. 判死信息点名超重字段 — #5000 item 3(「unknown vs doomed」+ 维度诊断)
#5932 的三道计量闸给的是一个总数(
~N TEXT tokens)。#5000 的 55.2MiB 出站体里 1.44MiB 是消息、大头是 tools[]——运维拿到一个总数不知道删什么。现在estimateRawBodyBreakdown(src/preflight.ts,与 #554 计量器同一遍历、同一排除集)把计量按顶层字段分桶(messages / tools[] / system / other),三道判死信息全部改带分桶明细:tools[] ~X(#5000 形状)或messages ~X(巨大粘贴/工具结果形状)。tests/side-request-isolation.test.ts新增分桶单测(总量=逐字符计量、桶求和=总量、tools 主导、image_url 不进任何桶)。C. 32MiB 解码摄入成本带 — #5794 item 2(单条大请求的解析扫掠)
#5794 每轮 51.2MiB/29,619 条:#5932 的 32MiB 槽位预算限的是并发(2 槽),单条请求照样独占事件循环 5.5–7.2s(JSON 解析+归一化扫掠,本机 CPU 54.6% → 747s FATAL 自重启、全员缓存冷)。成本带在解析之前按解码后字节 413(stage=ingest):
network.ingestBodyBytes/BILI_INGEST_BODY_BYTES,默认 32MiB,0=关闭。32MiB+ 的可解析体已是 ≥~8M token,超出所有真实模型窗口——放行必然先烧事件循环再死。protocol === "responses"不吃这道带——[Bug] Jimp is active, but image accumulation still triggers Responses WS 1009; duplicate request size not reduced (v0.1. | [Bug] Jimp 已生效,图片累积仍触发 Responses WS 1009;重复请求未缩小(v0.1.200) #3701 的 16 张噪声截图 ≈38.5MiB 是受支持的图片工作负载(车道有自己的wsOutboundBytes预发送预算+丢弃逻辑兜底),纯字节带分不清图片字节与文本字节;[perf][dsh] 51.2 MiB / 29.6k-msg inbound has no cost admission - DecodedRequestAdmission only sees compressed bodies | 51.2 MiB 入站没有成本准入:admission 只覆盖压缩体 #5794 是 chat 车道文本倾倒,照拦。槽位预算与 5GiB 收件上限继续独立生效。tests/issue5794-ingest-cap.test.ts(2 e2e:超带→413 stage ingest 零上游 / 带内照常 200)。本 PR 不修的(已单独立项/另有归属)
验证
本地全绿(sanitized env):23 个回归套件 332 用例(#4079/#4185/#2490/#857/#3701/#496/#3013/#2847/#3384/#3071/#5278/preflight-round-budget/#3918/#4894/fix-arm-headroom-clamp/#3846/#1839-ghost/#4205/fix-1001/#767/side-request-isolation/request-body-budget/dsh-native/native-intercept/web-diagnostics/issue5719/proxy-session-id)+ 本 PR 新增 5 e2e + 1 单测;tsc 干净;
config-surface-guard与lifecycle-ledger-guard通过(两个新键已注册)。