Skip to content

release-gate folded-recall assertions false-red on model tool detours — prompts must forbid tool calls | release-gate 折叠召回断言:提示词没禁工具,模型绕道调工具就假红 #4091

Closed

Description

@ranxianglei

[no-dispatch]

来源: #4003 分析 v0.1.202→master 全窗回归跟进复验时发现(2026-10-21 gate:local 复跑中 Lane A 唯一红的「S07 从折叠上下文召回」即由此引起)
查重: 无(检索 open+closed issues 与近期 PR,按 gate recall / S07 / release-gate-local 等关键词匹配,无既有跟踪条目)

现象

gate:local 复验(真模型)中 A「S07 marker recalled from FOLDED context」红。排查确认非压缩缺陷:qwen 自己的 thinking 显示折叠摘要里 S07-QUIMERA 记录正确,但它选择用 search_context/decompress「验证」,其中一条 find / -name bili-s07-verify.txt 跑了 60s 被转后台,该轮没产出最终文本(final="")导致断言红。同一折叠会话在 Lane B 切上游后把两个标记都完整召回;上一轮(同压缩代码)该断言绿;折叠后缓存恢复 96-99% 正常。

机制

scripts/release-gate-local.mjs 的 t2/t3 召回提示词原来只说 "Without reading any file again",没有禁掉一切工具调用。断言本意是度量「折叠摘要是否足够」,但允许用工具时,模型行为波动(选不选工具、长命令被转后台)混进断言结果——环境波动伪装成压缩失败。

修复

修复 PR:t2/t3 改为明确禁止任何工具调用("Answer from your conversation context only — do not call any tools…")。比原措辞更严格也更贴合断言意图(同时堵死模型用 decompress/search 绕过对摘要质量判定的作弊路径)。零产品行为变更,只影响本地 release gate 脚本。

Activity

  1. ranxianglei commented on Oct 23, 2026

    @ranxianglei
    OwnerAuthor

    🤖 Powered by ework · qwen3.8-27b

    (ai: vllm-qwen/qwen3.8-27b)

    duplicate of #4028 —— 判重后关闭,跟踪并入 #4028 / PR #4029。

    同症状对照:两边都是「release gate 折叠召回断言因模型绕道调工具而假红」——本条是 gate:local 复跑中 Lane A「S07 从折叠上下文召回」红(qwen 用 search_context/decompress 验证、find / 跑 60s 转后台、final 为空),#4028 是同一条断言在上一轮 gate 的同样假红。同机制对照:根因都指向 scripts/release-gate-local.mjs 的 t2/t3 召回提示词只说 "Without reading any file again"、没禁止工具调用——模型行为波动(选不选工具、长命令转后台)混进断言结果,伪装成压缩失败。

    先来后到:#4028 开于 10-20 17:00Z,本条 10-21 03:23Z,保留 #4028。修复已在 PR #4029(t2/t3 提示词两行收紧);审核中另发现同一召回提示词在 scripts/gate/plugin-lanes.mjs:395(t2)/ :473(t4)还有两处同款实例(plugin 车道跑真客户端,同样的假红向量),正以独立标注 commit 并入 #4029 一起修,一个机制一个 PR 闭环。本条配套 PR #4092 已关闭未合并(被 #4029 取代)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    duplicateThis issue or pull request already exists

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions