You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
{{ message }}
Repository navigation
release-gate folded-recall assertions false-red on model tool detours — prompts must forbid tool calls | release-gate 折叠召回断言:提示词没禁工具,模型绕道调工具就假红 #4091
gate:local 复验(真模型)中 A「S07 marker recalled from FOLDED context」红。排查确认非压缩缺陷:qwen 自己的 thinking 显示折叠摘要里 S07-QUIMERA 记录正确,但它选择用 search_context/decompress「验证」,其中一条 find / -name bili-s07-verify.txt 跑了 60s 被转后台,该轮没产出最终文本(final="")导致断言红。同一折叠会话在 Lane B 切上游后把两个标记都完整召回;上一轮(同压缩代码)该断言绿;折叠后缓存恢复 96-99% 正常。
机制
scripts/release-gate-local.mjs 的 t2/t3 召回提示词原来只说 "Without reading any file again",没有禁掉一切工具调用。断言本意是度量「折叠摘要是否足够」,但允许用工具时,模型行为波动(选不选工具、长命令被转后台)混进断言结果——环境波动伪装成压缩失败。
修复
修复 PR:t2/t3 改为明确禁止任何工具调用("Answer from your conversation context only — do not call any tools…")。比原措辞更严格也更贴合断言意图(同时堵死模型用 decompress/search 绕过对摘要质量判定的作弊路径)。零产品行为变更,只影响本地 release gate 脚本。
Activity
ranxianglei commentedon Oct 23, 2026
(ai: vllm-qwen/qwen3.8-27b)
duplicate of #4028 —— 判重后关闭,跟踪并入 #4028 / PR #4029。
同症状对照:两边都是「release gate 折叠召回断言因模型绕道调工具而假红」——本条是 gate:local 复跑中 Lane A「S07 从折叠上下文召回」红(qwen 用 search_context/decompress 验证、
find /跑 60s 转后台、final 为空),#4028 是同一条断言在上一轮 gate 的同样假红。同机制对照:根因都指向 scripts/release-gate-local.mjs 的 t2/t3 召回提示词只说 "Without reading any file again"、没禁止工具调用——模型行为波动(选不选工具、长命令转后台)混进断言结果,伪装成压缩失败。先来后到:#4028 开于 10-20 17:00Z,本条 10-21 03:23Z,保留 #4028。修复已在 PR #4029(t2/t3 提示词两行收紧);审核中另发现同一召回提示词在 scripts/gate/plugin-lanes.mjs:395(t2)/ :473(t4)还有两处同款实例(plugin 车道跑真客户端,同样的假红向量),正以独立标注 commit 并入 #4029 一起修,一个机制一个 PR 闭环。本条配套 PR #4092 已关闭未合并(被 #4029 取代)。