Repository navigation
fix(DEC-019): 判分器提示词的豁免句收窄到「仅拒答语境」+ 守卫换成能红的判据 - #81
Merged
Merged
Conversation
实施 `DEC-019` 的 α + β(业务方 2026-09-24 签核 **D-28**)。 ## 洞(DEC-019 §3 复述) 提示词里同一件事**段首有条件、段尾无条件**: - 段首:「**拒答语境的边界**……被测整句是**拒答**…时」—— **只在拒答**; - **段尾**:「但『**是否真正作答**』不改变字面命中的结论」—— **读起来是普遍规则**。 判分器按段尾那句判 ⇒ **把豁免扩大到了非拒答** ⇒ 放过 3 条「堆齐候选词却没回答」的样本。 ## α:段尾那句改成**显式带条件** + 给非拒答反例 新增:「⚠️ **但上面那条豁免「仅在拒答语境下」成立**……」+ 一条具体反例 (期望含「用户 ID」→ 答「用户 ID 只是其中很小的一个点,这个话题就不展开讲了」⇒ **必须 fail**)。 ## β:把**字符串检查**换成**能红的判据** 旧守卫 `assert "答非所问" not in sysp.replace("答非所问时","")` —— **在洞存在时照样绿** (**本轮实测对照**:同一个提示词上,旧判据 **True(绿)**,新判据 **红**)。 ⇒ 新守卫 = **契约 + 局部性**:豁免句**必须显式带"仅拒答"的条件,且条件就在它旁边**。⚠️ 它仍是**文本层**的;**语义层由金丝雀守**(`tools/judge_canary.py`,需真判分器 ⇒ 付费、不进 CI)。 ## 实测(付费;成本 **30,266** token,低于预估 ≈4.9 万) | 检查 | 改前 | **改后** | |---|---|---| | **金丝雀**(8 条构造答案,全部必须被拦) | **3/8 被放过**(id=**3/13/19**,`stacked_non_answer`) | ✅ **0/8** —— 那 3 条现在都判 **fail** | | **`calibrate`**(L2,阈值 0.80) | 0.88(22/25) | ✅ **1.00(25/25)** |⚠️ **洞堵上后一致率反而升了**(原先那 3 条正是分歧来源)。⚠️ 但 `1.00` 只能写「**本参照集已耗尽信息**」—— **不得**写成"判分器已校准"。 ## 测试与突变 - 新守卫**先看红**,α 之后转绿;全量 **584 passed / 2 skipped**; - **突变 a**(段尾改回无条件)⇒ **红** ✅ · **突变 b**(条件留着但挪远)⇒ **红** ✅;还原 `diff -q` **逐字一致**。 ##⚠️ 本 PR **没有**做的事(如实) - **完整 live 轮(SUT + judge,≈3.5 万)未跑** —— 被测没起(`/health`=000;`postgres-rag`/`redis-rag` 在)。 改 Prompt 的**完整回归**是仓库既有纪律,而本次只跑了**judge 侧**两件(canary + calibrate)。 ⇒ **须业务方另批**(预算已用 3.0 万)。 提交前两问:① **有决策事项** —— 即 `DEC-019`(签核 **D-28**);② 本仓无 CHANGELOG 机制。
heweidong-ecco
added a commit
that referenced
this pull request
Oct 18, 2026
锚点此前停在 2026-09-24 18:57(#80 那次),**比实况旧一次合并**: 它写「`DEC-019` / `DEC-020` 只签了『做』,实现未动」「当前唯一待办 = DEC-019 的实施」, 而 `DEC-019` 的 α+β 已在**同日 19:12 以 #81 合入**。 按我们自己立的规矩(「锚点只放当前为真的断言;live 断言办完就当轮改写」)更正: - 抬头:上次更新 2026-09-21 → **2026-10-18**; - `CLAUDE.md` 指针 / `ROADMAP.md` 交接段:**改为「均已实施并合(#81 / #79)」**; - **唯一未完成项写明 = `DEC-019` 的完整 live 回归**(≈3.5 万 ⇒ 须另批), 并写清**已跑什么**(canary 0/8 · calibrate 1.00,30,266 token)、**未跑什么**、 **为什么不能省**(离线 calibrate 测不到真实链路里的误伤); - 顺带列出**不阻塞的三项**(2× 延迟悬案 · 母体观察 · R1 探针)。 验证:锚点守卫 exit 0 · 584 passed / 2 skipped。 提交前两问:① **本次无决策事项**(纯记录更正,事实与依据均写在正文); ② 本仓无 CHANGELOG 机制。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
实施
DEC-019的 α + β(业务方 2026-09-24 签核 D-28)。洞(
DEC-019 §3)提示词里同一件事段首有条件、段尾无条件 —— 判分器按段尾那句(读起来是普遍规则)判
⇒ 把豁免扩大到了非拒答 ⇒ 放过 3 条「堆齐候选词却没回答」的样本。
α:段尾改成显式带条件 + 给一条非拒答反例
β:把字符串检查换成能红的判据
旧守卫
assert "答非所问" not in sysp.replace("答非所问时","")—— 在洞存在时照样绿。⭐ 本轮做了对照实测:在同一个提示词上,旧判据 = 绿(True),新判据 = 红 —— 这就是"旧守卫抓不到"的当场证据。
新守卫 = 契约 + 局部性(豁免句必须显式带「仅拒答」的条件,且条件就在它旁边)。
⚠️ 它仍是文本层的;语义层由金丝雀守(付费、不进 CI)。
实测(付费;成本 30,266 token,低于预估 ≈4.9 万)
stacked_non_answer)calibrate(L2,阈值 0.80)1.00只能写「本参照集已耗尽信息」—— 不得写成"判分器已校准"。测试与突变
新守卫先看红 → α 转绿;全量 584 passed / 2 skipped;
突变 a(改回无条件)⇒ 红 ✅ · 突变 b(条件挪远)⇒ 红 ✅;还原
diff -q逐字一致。完整 live 轮(SUT + judge,≈3.5 万)未跑 —— 被测没起(
/health=000;依赖postgres-rag/redis-rag在)。改 Prompt 的完整回归是仓库既有纪律,本次只跑了 judge 侧两件(canary + calibrate)。
⇒ 须业务方另批(本轮到目前用了 3.0 万)。