Skip to content

fix(#2190): strip model-emitted degenerate-close echo residue in streaming + whole-text paths - #2211

Merged
ranxianglei merged 8 commits into
masterfrom
2026-10-06_degen-close-strip
Oct 6, 2026
Merged

ranxianglei merged 8 commits into
masterfrom
2026-10-06_degen-close-strip

Conversation

@ranxianglei

@ranxianglei ranxianglei commented Oct 5, 2026 •

Copy link
Copy Markdown
Owner

Closes #2190

结构化七问结论

1. 是什么问题:模型生成文本时模仿 ACP render 标签,闭名漂移成任意短词(实测普查 122 例:ap/p/a/apc/cap/ck/div/warn/aph/ambient/apm)。全部既有匹配器(RENDER_TAG_DETECT / PAIRED / LONE_CLOSE / looseCloseSpan)只认 acplike 名,流式过滤器吞掉开标签后认不出闭标签:超预算时把 mNNNNN 残骸原样放出(流中泄漏),EOF 时把后续 prose 静默丢弃;stripAcpTags 也没有退化闭名的配对规则。

2. 什么原因导致的:识别集粒度与模型漂移空间不匹配。闭名漂移是开放集(普查仅 11 种且会增长),而所有检测锚定封闭的 acplike 变异集;swallow 模式除「认出闭名」外没有出口——泄漏与丢失两种失败形态同源于这一个机制。

3. 怎么修复的(机制层):

4. 是否有回归问题:逐项审过既有行为——

5. 是否破坏缓存:不涉及。prefix-cache 锚点字节、session key、重试/去重策略均未触碰;head system message 字节不变。

6. 是否改了设计方向:不涉及。沿用「流式状态机 + whole-text 兜底」既有架构,本 PR 是架构内识别集扩展,非新管线。

7. 是否引入新配置:不涉及。无新 env/config/CLI 字段(Environment Variable Discipline 合规)。

行为变更披露(old → new)

项 旧 新 原因
退化闭名收尾的 ref-body span(流中) mNNNNN 残骸漏进用户可见输出 整 span 移除,后续 prose 保留 #2190 主缺陷
同形状位于 EOF(未闭合) 后续 prose 静默蒸发 span 在 ref+退化闭名处终结,prose 保留 同一机制的丢失侧
fast path 参与条件 仅 acplike 头 另含 <word 尾 ≤16 字符 退化头此前搭快车通过;延迟有界(HOLD_LIMIT),零字节损失
日志 静默 两条新 warn(fast path forwarded / filter released residue-shaped bytes) 可观测性

验证

  • tests/issue2190-degen-close.test.ts 11 例:实测 chunk 序列回放(逐 delta 过 gate+filter)、普查 11 种闭名逐一、多标签 blob、EOF flush、wrapped-imitation 守卫、HTML 误报守卫、谓词钉住 —— 全绿;
  • 定向回归 198/198 绿;typecheck 干净;build 成功。全量回归交 CI。

Reviewer 备注(证据审核,详见 issue 线程)


Round 2(名称集扩展 + 出口审计,commit 10b978b)

触发:#2190 线程新证据(229 会话普查)显示 OPEN 侧名称漂移成封闭集外的词。这些开名在 gate 与 filter 两侧都不识别,整标签 byte-exact 通过。

Round 3 去污染修正(commit 46dc831):开名侧 grep 计数被模型在自身 reasoning 中引用标签名所污染(对方 r4 文档 §4.1 三口径对照证实)。按去污染标准(块首自发形态 + tokens= 属性 + 去重 n≥4)复核:保留 accessp、acacp、acb;移除 acpx(其原始计数 ~217 证实为自述污染/构造命中,干净样本仅 1 个大小写变体)。acpx 移出后由 residue 审计日志持续观察,出现 ≥4 处干净自发形态即可一行加回。tests/tag-echo.test.ts 夹具随之一并还原为原始版本(acpx 裸开标签重新成为「普通 markup」)。

  • buildAcplikeName 增补 3 个 case-folded 名(精确枚举,最长优先):accessp、acacp、acb。所有派生匹配器(PAIRED/LONE_OPEN/LONE_CLOSE/PARTIAL_TAIL/RENDER_TAG_DETECT/BROKEN_ATTRS/DEFINITE_TAIL/TRUNC_*/DEGEN_PAIR 开侧/CLOSE_NAME_ANCHORED)自动生效。刻意不做字符类泛化(如 ac[a-zA-Z0-9]{1,6})——与真实英文词(acgroup/acmap/acstep…)结构同形,会误伤合法 prose。用户方语料验证:泄漏形态清除、34 个合法词 × 5 语境 = 170/170 保留;对方 237 会话独立复现(accessp×10、acacp×7、acb×4,均带 tokens= 真实形态)。
  • 跨名配对可用:开 acp 闭 acacp 这类混合形态由 PAIRED/DEGEN_PAIR 各自独立匹配 NAME 覆盖。
  • E1/E5/parse-fail 原始转发出口新增 residue 审计日志(log-only、零字节变更;openaiFrameHasToolCalls 排除工具参数帧防误报,[bug] 插件透传会剥掉工具调用参数里的 render tag(arguments 流挂了 tag-echo 过滤器) #1039)。对应出口层缺口的正式立项:#2248(文本不在 choices[].delta 受管字段的帧整体绕过状态机;【bug】最终版issue: 模型生成的 <acp …> 标签会漏到用户可见输出(附根因、量化与修法建议) #2190 线程的零日志真泄漏样本即该机制证据)。
  • tests/tag-echo.test.ts 夹具更新:原「ordinary angle brackets」用例以 acpx 开头的裸开标签作"普通 markup"样本——acpx 现按设计成为已识别回显名,夹具改用真正非名称词 abc。

行为变更披露(round 2 增量)

项 旧 新 原因
accessp/acacp/acb 系开闭名的完整对 byte-exact 漏进输出 流式 + whole-text 均剥除 去污染后仍成立的实测泄漏形态
上述名的裸开标签 通过 LONE_OPEN 识别并按既有 truncated/lone 规则处理 同上
E1/E5/parse-fail 出口 静默原样转发 残骸形状(m\d{4,} 紧跟短闭名)时打 warn,字节仍原样转发 #2248 可观测性先行;不改字节

分支集成说明

验证(round 2)

tests/issue2190-degen-close.test.ts 扩至 15 例(+漂移名流式逐字符回放、跨名配对、whole-text、gate 谓词、合法词存活);定向回归 9 套件 159/159 绿;typecheck 干净;build 成功。全量回归交 CI。

Models imitate ACP render tags with drifted close names (field census:
ap/p/a/apc/cap/ck/div/warn/aph/ambient/apm) that no matcher recognizes.
The stream filter then swallows the open tag, hits its budget or EOF,
and either releases the 'mNNNNN</word>' residue verbatim (mid-stream)
or silently drops the following prose (flush). Whole-text stripAcpTags
had no pair rule for degenerate closes either.

- swallow mode now accepts any short close name as terminator when the
  body since the opening is exactly one bare ref (degenCloseAfterRef);
  wrapped-imitation mode is excluded (payload may hold arbitrary markup)
- stripAcpTags gains DEGEN_PAIR: acplike open + bare ref + any short
  close removed atomically, before the lone passes
- fast path gains mayStartDegenerateRenderTag (broad <word tail <=16) so
  degenerate heads engage the state machine instead of riding through;
  kept out of PARTIAL_TAIL/mayStartRenderTag so #1760 orphan-markup
  accounting still classifies prose tails like 'a<b' as prose
- completion pre-checks gain containsEchoResidue so residue-shaped final
  artifacts go through the whole-text rebuild path
- new warn logs at fast-path forward and filter release points make the
  formerly silent leak observable (#2190 fix suggestion 4)

Behavior change: ref-body spans closed by a degenerate name are now
stripped instead of leaking or evicting adjacent prose; fast path engages
one fragment earlier on ambiguous '<word' tails (bounded delay, no byte
loss). No config surface change; kernel untouched.
@github-actions

github-actions Bot commented Oct 5, 2026 •

Copy link
Copy Markdown
Contributor

📦 Built Package Artifact

Branch: 2026-10-06_degen-close-strip (e4e0f96)

Option A — Install this exact build (recommended)

npm install -g billion-context@0.0.2334-pr.2211.d3e3d45

This exact version is immutable and reproducible. The rolling pr tag tracks the newest test build across all PRs.

Option B — Download artifact

  1. Download the artifact from the Actions run
  2. Extract the tarball and install:
tar xzf billion-context-pr2211.tgz
npm install -g package

Install instructions are refreshed on each push.

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 收到,开始对 PR #2211 做 review(代码 + 回归审查 + CI 状态核对)。初查:分支单 commit cb402064,7 files / +321 −16,CI 全部 check runs 已 completed success(test ubuntu×2/windows×2、e2e、hermetic registry、各 real-client lane、kernel-guard、docs-sync 等)。PR 状态 open、mergeable=true 但 behind master,正在核对落后程度与 diff 细节。完整结论按结构化七问稍后回帖。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

CI 状态说明:首跑 22 个 check 中 21 绿,唯一失败是 test (windows-latest, 24) 里的 tests/responses-websocket.test.ts 「Responses WS faults: disconnect after a delivered tool never commits or silently replays it」——断言期望日志出现 checkpoint reset reason=upstream-disconnect,实际窗口内只有 client checkpoint reset reason=client-close(readLogUntil 在 1011 行命中后即返回,reset 行尚未落盘)。该测试与 PR 触碰的路径(渲染标签过滤/插件闸门)无交集,同测试在 ubuntu×2 + windows-22 三个矩阵格全过。已 rerun-failed-jobs:同一提交重跑通过,整条 run 现已全绿。本地(Linux)跑该文件 38/38 也全过。flake 本身已单独立项跟踪(见 issue 引用),不混入本 PR diff。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

上一条提到的 flake 已立项:#2212(带来源标记,建议修法为把被断言的日志模式纳入 readLogUntil 等待列表)。本 PR diff 保持只含 #2190 相关改动。当前 CI:全绿(含重跑后的 windows-latest/Node24)。

@ranxianglei

Copy link
Copy Markdown
Owner Author

🤖 Powered by ework · qwen3.8-27b

[bot] 🏷 Review 完成。本地做了定向验证(非全量,全量归 CI):PR head 上 tag-echo 家族 13 个测试文件 207/207 绿;新测试的「有牙性」用 A/B 复现钉住——把两个核心文件回退到 base(5e43209)后,issue 实测 chunk 序列经完整 gate+filter 链回放,pre-fix 输出 ""(整轮文本被静默丢弃,#2190 丢失侧复现),post-fix 输出恰好 \nLet me first survey the workspace.(残骸移除、prose 保留)。

结构化七问

  1. 是什么问题:模型模仿 ACP render 标签时闭名漂移成任意短词(普查 122 例、11 种闭名)。既有匹配器只认 acplike 名:流式中 mNNNNN</word> 残骸漏进用户可见输出,EOF 时后续 prose 被静默丢弃;stripAcpTags 对退化闭名也无配对规则。
  2. 什么原因导致的:识别集粒度与模型漂移空间不匹配——检测锚定封闭的 acplike 变异集,而闭名漂移是开放集;swallow 模式除「认出闭名」外没有出口,泄漏与丢失两种失败形态同源于这一个机制。
  3. 怎么修复的(机制层):架构内识别集扩展,双管齐下——流式侧:swallow 模式接受任意 ≤16 字符短闭名为 span 终止符,但仅限开标签以来 body 恰为裸 ref(kernel emit 形状),wrapped-imitation 模式排除(payload 整体吞掉才是正确守卫);whole-text 侧:DEGEN_PAIR(acplike 开+裸 ref+任意短闭)整对原子移除,置于 lone pass 之前防 ref 留尾,同时清洗已污染入站历史切断自我强化。fast-path 闸门让退化头进状态机而非搭快车,刻意不并入 PARTIAL_TAIL/mayStartRenderTag([bug] 单行中文答案被误判为退化轮:marker 行首前缀按设计被扣住,终点释放却被计成 markup(chat-completions 线整轮报错) #1760 orphan-markup 统计的 a<b prose 尾判定不受影响,谓词有测试钉住)。completion 预检把残骸形状终态工件路由进 whole-text rebuild。原静默释放点全部补 warn 日志。
  4. 是否有回归问题:无。逐项审计清单与结论见下节。
  5. 是否破坏缓存:不涉及。prefix-cache 锚点字节(head system message)、session key、重试/去重策略均未触碰;两条新日志走 loggerLog(file+stderr),纯增量、不进 wire。
  6. 是否改了设计方向:不涉及。沿用「流式状态机 + whole-text 兜底」既有架构,是架构内识别集扩展,非新管线。
  7. 是否引入新配置:不涉及。无新 env/config/CLI 字段(Environment Variable Discipline 合规)。

既有行为回归审计(审了哪些、各自结论)

既有行为 结论
良构配对/单标签/truncated-open 正则 未动;定向回归全绿
#1720 prose-body 保护(配对标签间 prose 仍释放) 保持,测试钉住
#1760 orphan-markup 分类(a<b 仍是 prose) 不变,谓词测试钉住(mayStartRenderTag("a<b")===false、isOrphanMarkupText("<p>")===false)
#1039 tool-call arguments byte-exact 代码级核实:OpenAI tool_calls fragments 明确 unmanaged、Anthropic input_json_delta unmanaged、Responses function_call_arguments.* 走 generic verbatim write;加宽的 gate 只作用于可见 prose 字段(content/reasoning*/thinking/text/reasoning_summary_text.delta)。且状态机里 broad head 永不可被 drop(drop 仅由 DEFINITE_TAIL/acplike 触发),最坏 hold≤128 或整字节释放
KDD#10 thinking 签名通道 thinking_delta 过 filter 是既有架构(文件头明确把 thinking 列入可剥离 prose 字段);本 PR 未给签名字节增加任何新变换种类,只加宽哪些 delta 进入既有状态机,非本 PR 引入的回归
retryEmptyTurn 空轮重试 containsEchoResidue 误报无法打开新重试路径:重试前提为零可见文本,而残骸形状(m+digits+</letter)本身即文本存在,可见字符计数闸门先否决
高危模式(fail-fast→吞错 / 阈值时序 / 输出格式) 无;wire 输出变化仅限退化残骸字节被移除,已在 PR 行为变更表披露 old→new

测试有效性

11 例真测试:实测 chunk 序列逐 delta 过完整 gate 链、普查 11 种闭名逐一、多标签 blob、EOF flush、wrapped-imitation 守卫、HTML 误报守卫(if a<b/and c>ed/孤立 </p> 逐字节不变)、谓词钉住、微碎片 e2e 穿 pipePluginResponsesWithStrip 至 response.completed。断言有牙:A/B 验证 pre-fix 必失败(见开头),bug 回归时抓得住。

已知残留(记录)

  1. form-D 退化 OPEN 名(<ck> 类):作者声明出范围,与我代码级 trace 一致——此类 span 不进 swallow 模式,按 prose 原样通过;开放侧扩到任意词会在 whole-text 卫生处理里误删合法 HTML,普查 0 实例,边界合理。
  2. 我 trace 发现的窄边缘:bare open + ref body + 退化闭名恰在 EOF 处截断(<acp>m1234</ap,缺最终 >)→ flush 的 bare-open 分支只认 acplike TRUNC_OPEN/TRUNC_CLOSE ⇒ 释放 m1234</ap(泄漏,已被新 warn 日志覆盖;pre-fix 同样泄漏且静默)。触发窗口很窄(bare open 形态 + EOF 恰好切在闭名中间),与本 PR 同一机制家族,建议 owner 决定折入小的 follow-up 或记为残留。
  3. containsEchoResidue 在 m 前无词边界("problem1234 </x" 会命中):log-only + strip pass 只对完整 DEGEN_PAIR 形状生效,无害,接受。

Base 状态

分支落后 master 103 commits,但逐一核对:6 个改动文件中 5 个在 base 与当前 master 间字节相同;唯一差异 src/plugin.ts(+130/−13,master 侧 retry-budget 区域)与本 PR 编辑点不相交。GitHub mergeable=true,CI 在 merge ref 上全绿(lane-guard/build/test ubuntu+windows/e2e/registry/real-client lanes)——集成风险已消解。rebase 属可选卫生,不构成合并阻塞。

判定

可合。 方向对(修的是产生残骸的识别机制,不是症状层过滤)、回归面逐项过净、测试有牙且本地 A/B 证实、行为变更已按规披露、无新配置。残留 #2 不阻塞合并。

…tack compat)

One-line compat for the agreed #2025 -> #2211 -> #2067 merge order: #2025 folds the
master REF_LIKE constant into REF_TOKEN/REFS_RUN, which would leave this call dangling
(silent tsc break once stacked, each PR green alone). Standalone const carries the
identical regex /^\s*m\d{4,}\s*$/; behavior unchanged.
ework-agent added 2 commits October 6, 2026 15:54
…audit raw-forward exits

- buildAcplikeName: add acacp/accessp/acpx/acb (case-folded, exact enumeration; char-class generalization rejected — FP risk on real words like acgroup/acmap). All name-derived matchers pick them up; 229-session census validated 10/10 leak forms cleared, 170/170 legit-word contexts preserved.

- plugin.ts: log-only residue audits at the unfiltered raw-forward exits (processOpenai E1 no-choices branch + E5 tail fallthrough, chat/responses JSON.parse-fail branches); openaiFrameHasToolCalls excludes argument frames (#1039 byte-exact).

- tests: +4 drift-name cases in issue2190 suite (streaming char-by-char, cross-name pairing, whole-text, gate predicates, legit-word survival); tag-echo.test.ts fixture <acpx> -> <abc> since acpx is now a recognized echo name by design.
… ignore .tmp/

The stacked compat commit accidentally committed node compile-cache binaries and test artifacts under .tmp/ (diff-cleanliness gate). Untrack only; .gitignore gains .tmp/ (it had tmp/ but not .tmp/, which is how they got in).
@ranxianglei

Copy link
Copy Markdown
Owner Author

[bot] 🏷 CI 全绿:最终 head 83fb43f74(round 1 退化闭名修复 + #2229 栈兼容 dbf4f1b + round 2 名称集扩展/出口审计 + .tmp 清理)24/24 checks 通过。定向回归 9 套件 159/159、typecheck、build 均绿。行为变更披露见正文 round 2 节。可合并;合并后随下一正式版发布,Closes #2190。

ework-agent added 3 commits October 6, 2026 16:12
…es-wire exits

The #2190 exit audit (auditRawForward) covered only the openai E1/E5 and both
parse-fail exits; the isomorphic raw exits named in the #2248 mechanism table
were still silent, leaving holes in the zero-log-leak attribution net. Log-only,
zero byte change (#1039 wire fidelity preserved by construction):

- processAnthropic: content_block_start / non-delta events / unmanaged delta
  types (input_json_delta excluded — tool-call arguments are user intent).
- processGoogle: non-candidates frames + tail fallthrough (frames carrying
  non-text parts excluded via googleFrameHasNonText — functionCall/
  functionResponse are structured or user data).
- responses pipe: unrecognized-type fallthrough (responsesFrameHasToolCalls
  excludes function_call/custom_tool_call argument streams).

Tests: new issue2248 suite pins all ten audited exits (warn fires AND byte-exact
forward) plus the three argument-frame exclusions and two clean negative
controls; also pins the four #2190 sites which shipped without direct tests.
…amination

Open-side census counts are inflated by models quoting tag names inside
their own reasoning. Under the decontaminated standard (block-initial
emission + tokens= attribute + deduped n>=4), only accessp/acacp/acb
qualify; acpx's raw census (~217) proved self-referential/constructed
with one case-variant sighting only. Excluded forms stay observable via
the #2190 residue audits, so a clean attestation earns re-inclusion.
tag-echo.test.ts fixture reverts to its original <acpx> sample, which is
ordinary markup again under the reduced name set.
@ranxianglei

Copy link
Copy Markdown
Owner Author

[bot] 🏷 Round-4 增量(acpx 去污染移除 + H2 不变量回归测试)后 CI 复绿:最终 head f5e9eb4fe 24/24 checks 通过。当前分支历史:cb4020644 退化闭名修复 → dbf4f1b #2229 栈兼容 → 10b978b 名称集+出口审计 → 83fb43f .tmp 清理 → 7977aeb #2248 审计全 wire 扩展 → 46dc831 acpx 移除(去污染标准)→ f5e9eb4 H2-exclusion 不变量测试。可合并;Closes #2190。

@ranxianglei

Copy link
Copy Markdown
Owner Author

[bot] 🏷 Round 8 收口:新增提交 e4e0f96(test-only)把 #2190 线程的字段级反例 seq=22409(71 个真实 tokenizer 分片、末标签闭名漂成退化短词、k 不在任何 acplike 字符类)钉成回归测试——回放零泄漏,证明闭名侧的 ref 锚定开放集规则(degenCloseAfterRef/DEGEN_PAIR)无需名单成员即覆盖任意短闭名。CI 24/24 全绿(head e4e0f96)。分支完整历史:cb4020644 → dbf4f1b(#2229 兼容) → 10b978b → 83fb43f(.tmp 清理) → 7977aeb(#2248 审计全 wire) → 46dc831(acpx 去污染移除) → f5e9eb4(H2 不变量测试) → e4e0f96(字段回放测试)。可合并;Closes #2190。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

【bug】最终版issue: 模型生成的 <acp …> 标签会漏到用户可见输出(附根因、量化与修法建议)

1 participant