Skip to content

Add threshold/disable knob to the text-run guard (default 200 unchanged, 0 disables) | text-run 守卫加阈值/关闭旋钮(默认 200 不变,可设 0 关闭) - #3411

Merged
ranxianglei merged 2 commits into
masterfrom
fix/text-run-knob
Oct 17, 2026
Merged

ranxianglei merged 2 commits into
masterfrom
fix/text-run-knob

Conversation

@ranxianglei

Copy link
Copy Markdown
Owner

(ai: zhipuai-lb/glm-5.3)

Fixes #3406 第 1 项

现象(一句话)

text-run 守卫(连续 200 个相同字符即掐断模型输出,#3260 加的)没有任何开关——模型合法输出长同字符串时(代码注释分隔线、ASCII 分隔线)会被中途掐断,thinking/reasoning 通道也在守卫内,用户没有逃生门。#3331 区间审查发现了这一点,#3357 已修掉它的误杀面(Google functionCall.args),本项只补开关,默认行为一律不变。

改法

  • 新旋钮:guardrails.textRunThreshold(config 文件键)+ BILI_GUARDRAIL_TEXT_RUN_THRESHOLD(env 覆盖),与 fix: pi/omp tool guardrails are configurable; bash-timeout injection off by default #3366 已有的 guardrails.bashTimeout / guardrails.maxOutputBytes / guardrails.repetition 同族、同优先级规则(env > config 文件 > 默认 200)。
  • 关闭方式与现有数值旋钮一致:设 0(或负数)= 整条 lane 关掉,包括 thinking/reasoning 通道;设正数 N = 连续 N 个相同码点才触发。
  • 阈值在守卫创建时解析一次(createRunawayGuard()),流中途改旋钮不影响进行中的流,和其它旋钮的每请求解析节奏一致。
  • 默认值 200 抽成单一来源 DEFAULT_TEXT_RUN_THRESHOLD(src/knobs.ts),TEXT_RUN_THRESHOLD 改为引用它,保证文档、代码、测试永不漂移。
  • env 值为垃圾(非数字)时回落默认 200(不开也不炸),小数向下取整——与 bashTimeout/maxOutputBytes 的容错约定完全一致。

默认值不变声明

不设旋钮时行为与改前逐字节一致:200 触发、正常文本(含 150 字符分隔线)不触发、thinking 通道在内照旧。有专门测试钉住这一点(见下)。

测试证据

  • tests/issue3260-text-run-guard.test.ts 24 pass:新增 3 例——默认 200 不设 env 时照常触发 / env=1000 时 500 连击存活、1000 状态化触发 / env=0 时 5000 字符同字符流(含 reasoning_content 1000 连击帧)0 次 verdict、字节级原样转发。
  • tests/knobs-config-precedence.test.ts 15 pass:新增 1 例——默认 200、文件层 500、env 1000 覆盖、250.9→250 取整、env "0"/-5→关、垃圾 env/文件值→回落 200、文件 0→关。
  • tests/runaway-guard.test.ts + tests/tool-guardrails-pi.test.ts 54 pass(回归)。
  • npm run typecheck 0 错误;npm run build 成功;node scripts/check-unused-exports.mjs clean;check-test-import-graph ok。
  • 文档生成物已用 node tools/gen-config-docs.mjs generate 再生成并随本 PR 提交(docs-sync 应绿)。

config surface(按 AGENTS.md §3 要求)

…L_TEXT_RUN_THRESHOLD, 默认 200 不变, 0=关) (#3406 第 1 项)
@github-actions

github-actions Bot commented Oct 16, 2026 •

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: fix/text-run-knob (820a6c2)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.4018-pr.3411.bcfb625

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr3411.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

查重:不重复。 按「text-run」/「textRunThreshold」检索了 open+closed 的 issue 和 PR:直接对应本机制(text-run 守卫加旋钮)的只有本 PR #3411 一条。相关条目各是独立机制,不构成重复——#3289 是守卫本身的原始实现(已合)、#3357/#3362 是修它对 Google functionCall.args 的误杀面(已合)、#3406 是本批残留问题的跟踪 issue(本 PR 修其第 1 项);没有其它在途 PR 覆盖同一旋钮。

开始按 PR 规范审查:原 issue 方向 → 回归清点 → 代码 → 测试有效性 → diff 整洁度,本地跑定向测试 + 看 CI,结论用八问体例回复。同时把标题改成「英文 | 原文」格式。

@ranxianglei ranxianglei changed the title text-run 守卫加阈值/关闭旋钮(默认 200 不变,可设 0 关闭) Add threshold/disable knob to the text-run guard (default 200 unchanged, 0 disables) | text-run 守卫加阈值/关闭旋钮(默认 200 不变,可设 0 关闭) Oct 16, 2026
ranxianglei pushed a commit that referenced this pull request Oct 16, 2026
@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

(ai: vllm-qwen/qwen3.8-27b)

审查完成,结论:可合(请人工合并)。 审查过程与判定如下。

审查记录

① 方向:#3406 第 1 项要求「加 BILI_* env + config 旋钮(设 0/false=关)」,本 PR 精确落实:guardrails.textRunThreshold + BILI_GUARDRAIL_TEXT_RUN_THRESHOLD,0/负数关、默认 200 不变。阈值数值本身按 #3406 挂 owner 决策,PR 正确地没碰。布尔旋钮被否、改用本族既定的 0=关 约定——合理,config surface 一节交代完整。

② 回归清点(逐路径读过改前代码,不是只读 diff):

  • 默认路径(不设旋钮):解析结果 200,与改前常量逐字节一致;有专门测试钉住「恰好 200 触发」,原 21 例全过;
  • 其它守卫 lane(acp-enumeration / tool-xml-flood):独立函数 feed(),与 feedText() 无共享早退路径——关 text-run 不会误伤它们(src/runaway-guard.ts:229-249 核实);
  • TEXT_RUN_THRESHOLD 导出常量保持 200,既有钉死它的测试不受影响;
  • config 文件解析纯新增可选字段,无改名/重语义;两种压缩模式下守卫都在传输层、默认不变,等权不受影响;
  • 每流一个守卫(wrapStreamWithRunawayGuard 内创建),「创建时解析一次」= 每响应流解析,与旋钮族每请求节奏一致,声明属实。

③ 代码:实现最小且完全对齐旋钮族惯例——复用 tNumLoose(src/knobs.ts:40),容错语义(bashTimeout/maxOutputBytes 同款:垃圾值落默认不炸、小数向下取整、0/负数=关)逐项核对一致;默认值抽成单一来源 DEFAULT_TEXT_RUN_THRESHOLD,注释带溯源讲为什么。无 as any、无新依赖、无死代码。

④ 测试有效性:新增用例有牙——env=1000 例能抓住「有人把 200 重新写死」,字节级转发例能抓住「关了还计数/改了字节」,优先级矩阵覆盖两层垃圾值回落。唯一缺口:没有用例钉住「关掉 text-run 后其它 lane 仍然工作」。

⑤/⑤b diff 与代码整洁:10 个文件每一行都与目的相关,生成物随 PR 提交且 docs-sync 绿;命名达意、风格与邻居一致。

我补的一个 review 修复(已推到分支,标注 commit test(#3411)):补上上述缺口的用例——threshold=0 时 acp-tag 洪水仍按 acp-enumeration 触发,钉住「关一条 lane 不解武装其它 lane」。说明:我第一次推送该 commit 时自己手误引入了一处语法错误(改动相邻行时丢了个花括号),本地跑测抓到后已 amend 修正,最终 head 干净。教训记录在案:编辑相邻代码行前后必须重跑该文件测试再推。

CI:最终 head 820a6c2e4 全绿(38 项检查:27 success + 11 个 hermetic gate skipped,0 failure)。过程注记:首个 head 的 windows-latest/22/shard-1 曾红一次,同 base 提交(73d9360)的 master CI 全绿 → 判定偶发,重跑即绿,与本 PR 无关(改动是平台无关的 JS,本地定向 93 例也全过)。本地另跑了 typecheck(0 错)+ build(成功)+ 四个定向测试文件 93 pass。

标题国际化:已改为英文前缀格式(English | 原文)。

八问

  1. 是什么问题:text-run 守卫(连续 200 个相同码点即掐断模型输出)没有任何开关,合法的长同字符输出(注释分隔线、ASCII 分隔线,含 thinking/reasoning 通道)会被中途掐断,用户无逃生门。
  2. 什么原因导致的:degenerationGuard 移植到 DSH 版(billion-context-dsh):插件层方案已定待实现,另需上游输出侧熔断 #3260 当初有意把它做成内部常量("Internal constant on purpose: no config surface"),197-master range review | 197-master区间审查 #3331 区间审查指出这缺逃生门,区间审查(#3331)残留 11 项中小问题集中修:守卫旋钮、存储竞态、静默丢参、CI 触发残角等 #3406 第 1 项决定补上——根因是配置面缺失,不是检测逻辑缺陷。
  3. 影响范围与严重程度:所有走代理响应流的会话;默认行为不变,只有显式设旋钮才改变行为。改前严重程度=特定条件下的体验缺陷(长同字符合法输出被掐断);本 PR 提供关闭/调高手段,默认仍保护。
  4. 怎么修复的:把阈值纳入 guardrails.* 数值旋钮族(env > config 文件 > 默认 200;N>0 调阈值,0/负数整条 lane 关;小数取整,垃圾值落默认),在每流的守卫创建时解析一次;默认值抽成单一来源防文档/代码漂移。
  5. 是否有回归问题:无。审过的既有行为:默认触发点(200)、正常文本不误杀(150 分隔线)、其它两条守卫 lane、thinking 通道归属、config 解析、双压缩模式——全部保持;高危模式(语义漂移/fail-fast 变吞错/阈值时序漂移)逐项过,均不涉及。
  6. 是否破坏缓存:不涉及——响应流守卫,不触碰请求构造、前缀缓存、ledger、去重键。
  7. 是否改了设计方向:没有——沿用既有旋钮族的优先级与容错约定,未立新节,无架构变化。
  8. 是否引入了新的配置:是(已在 PR 的 config surface 节披露)——guardrails.textRunThreshold(number,默认 200)+ env BILI_GUARDRAIL_TEXT_RUN_THRESHOLD;纯新增键、无迁移;CONFIGURATION.md en/zh 与 website 生成物已同步(docs-sync 绿)。

收工判定:可合。 新配置面按 §7.4 属 human-gate,请 owner 合并;合并后 #3406 第 1 项即可勾掉。

@ranxianglei
ranxianglei merged commit 1019abc into master Oct 17, 2026
68 checks passed
@github-actions

Copy link
Copy Markdown
Contributor

📦 Merged Build Published

This merge to master was published as 0.0.504-master.1019abc (rolling master tag).

npm install -g billion-context@0.0.504-master.1019abc  # this exact build
npm install -g billion-context@master  # always the newest merged build

npm view billion-context@master prints the current version at any time.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

Projects

None yet

Development

Successfully merging this pull request may close these issues.

区间审查(#3331)残留 11 项中小问题集中修:守卫旋钮、存储竞态、静默丢参、CI 触发残角等

1 participant