diff --git a/CLAUDE.md b/CLAUDE.md index 3552bee..6b17f99 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -166,8 +166,8 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 > | P7 **B4 judge 校准** | ✅ **完成** —— 参照集 **16→26 条** · `calibrate` **0.88**(22/25,阈值 0.80 达标)· **3 条分歧全是堆砌类** ⇒ `DEC-019` 洞**实测确认 3 例**(`#71`) | > | P8 **B5 判据不变量重审** | ✅ **完成** —— **`DEC-022` 已签核(D-26)· 已实施 · 已合(#75)** · grilling 3 轮 · **不变量不动** | > -> **➡️ 新会话第一件事**:`B4` 与 **`B5` 都已完成并合入 main** —— 现在**只剩两件待签核**(下段), -> **不需要另开新活**;`DEC-022` 的实施记录在其 **§10**。 +> **➡️ 新会话第一件事**:`B4` / **`B5` 都已完成并合入 main**;**待签核 = 0**(2026-09-24 全部签完)。 +> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 只签了「做」,实现未动**(见下)。 > ⚠️ **`B4` 的标注表已跑完**(`calibrate` 0.88),`docs/校准/2026-09-16-judge校准-标注表-第2轮.md` 是**记录**,不必再读。 > > **✅ `DEC-022` 已签核 + 已实施 + 已合**(2026-09-21 · D-26 · **#75**)—— 判定表见 §5.1; @@ -176,12 +176,18 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 > > **✅ `DEC-018` 已于 2026-09-21 签核**(**D-27**;业务方明确认下「第 3 条**的确是运气**」)。 > -> **🔴 两件待签核**(全仓**只剩这两份**): -> - **`DEC-019`**(判分器把「非拒答的答非所问」也放行了)—— **金丝雀挖出的既有洞**; -> 推荐 **α(改提示词)+ γ(补堆砌条目)并入 B4**,⚠️ 但**先 γ 再 α**; -> - **`DEC-020`**(**门 2 的判据取了「会话累计」** ⇒ 一次调用后永久满足)—— 推荐 **δ:先 γ(如实把强度从"硬"降为"半硬")再 α(真修,须配测试)**。 -> ✅ **γ 已做**(本文件「门禁硬化」段已更正强度);**α 未动**(等签核)。 -> 🔗 同批已进避坑库 **`A2-R15`** + 强度表同步降级(避坑库 PR **#16**)。 +> **✅ 待签核 = 0**(2026-09-24 全部签完)—— +> - **`DEC-019`**(判分器把「非拒答的答非所问」也放行了)—— **已签核 D-28**:采纳 **α + β**; +> - **`DEC-020`**(门 2 判据取了「会话累计」)—— **已签核 D-29**:采纳 **α**。 +> ⚠️ **两者都只签了「做」,实现未动** ⇒ **下一步 = 实施**(见下)。 +> +> **🔜 当前唯一待办:两份 DEC 的实施** +> - **`DEC-019` 的 α**:改判分器提示词(段尾那句改成「**仅在拒答语境下**…」+ 非拒答反例)—— +> ⚠️ **≈4.9 万 token**(回归 + `calibrate`);**一致率可能下降 = 仪器变准,不是回归**; +> - **`DEC-019` 的 β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**, +> 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修"; +> - **`DEC-020` 的 α**:判据改成「**本次改动之前**」—— **零 token**,但是**门禁改动** ⇒ +> 须**先写能红的测试** + 配**豁免**(且豁免率可统计)。 > --- > ### 📜 **分界:以下全部是「历史」**(2026-09-10 ~ 2026-09-21 的过程记录) diff --git a/ROADMAP.md b/ROADMAP.md index 8defb4b..49b11a3 100644 --- a/ROADMAP.md +++ b/ROADMAP.md @@ -95,12 +95,16 @@ #### 📌 下一会话开工要盯的 -1. **`DEC-019` / `DEC-020` 两份草案仍「待签核」** —— 全仓**只剩这两份** - (`DEC-018` 已于同日签核 **D-27**); -2. **`DEC-019` 的实施**:α(改判分器提示词)+ γ(补堆砌条目)—— ⚠️ **顺序须先 γ 再 α**; -3. **✅ `DEC-022`(B5):已签核 + 已实施 + 已合**(**#75**)。 - `DEC-022 §10` 记了实施结果(**含两处偏差**:§7.3 的 7→5 · §10.3 的"存疑不阻断"缺口)。 - ⇒ **收尾批次 P0–P8 全部收口**。 +1. **✅ 待签核 = 0**(2026-09-24 全部签完)—— `DEC-019` 签核 **D-28** · `DEC-020` 签核 **D-29**; +2. **🔜 当前唯一待办 = 两份 DEC 的实施**(⚠️ **都只签了「做」,实现未动**): + - **`DEC-019` α**:改判分器提示词 —— ⚠️ **≈4.9 万 token**;**一致率可能下降 = 仪器变准,不是回归**; + - **`DEC-019` β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**, + 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修"; + - **`DEC-020` α**:判据改成「**本次改动之前**」—— **零 token**,但是**门禁改动** ⇒ + 须**先写能红的测试** + 配**豁免**(豁免率可统计)。 + > ⚠️ **顺序建议**:`DEC-020 α`(零 token、独立)可先做;`DEC-019 α` 要花钱,**须你另批**。 +3. **✅ `DEC-022`(B5):已签核 + 已实施 + 已合**(**#75**); + `DEC-022 §10` 记了实施结果(含两处偏差)⇒ **收尾批次 P0–P8 全部收口**。 #### 🧹 分支已清(2026-09-21,业务方授权) diff --git "a/docs/decisions/DEC-019-\345\210\244\345\210\206\345\231\250\346\224\276\350\241\214\345\217\243\345\276\204.md" "b/docs/decisions/DEC-019-\345\210\244\345\210\206\345\231\250\346\224\276\350\241\214\345\217\243\345\276\204.md" index 3e495bc..f27b336 100644 --- "a/docs/decisions/DEC-019-\345\210\244\345\210\206\345\231\250\346\224\276\350\241\214\345\217\243\345\276\204.md" +++ "b/docs/decisions/DEC-019-\345\210\244\345\210\206\345\231\250\346\224\276\350\241\214\345\217\243\345\276\204.md" @@ -1,6 +1,6 @@ # DEC-019 · 判分器把「非拒答的答非所问」也放行了 —— 提示词自相矛盾 -- 日期:2026-09-15 · 状态:**待签核**(草案;终裁 = 业务方) +- 日期:2026-09-15 · 状态:**✅ 已签核**(业务方 2026-09-24;签核号 **D-28** —— 采纳 **α + β**) - 上游:`DEC-009 §4`(**刻意收窄**:『含其一即符』**只在拒答语境**成立,不放行"答非所问") · `DEC-004`(判据分层:保留**防关键词堆砌闸**)· 收尾批次 `D-24` 的 PR-5(A2) - **发现的来源**:A2 的**金丝雀**(`tools/judge_canary.py`,计划书 §六 验收②) @@ -112,10 +112,34 @@ assert "答非所问" not in sysp.replace("答非所问时", "") > `judge_human_agreement` **可能下降** —— 那**不是回归**,是**仪器变准了**(同 `DEC-017` 的代价登记)。 > **⇒ 先加 γ(堆砌条目)、再改 α**,这样两头都在参照集里有对照。 -## 6. 待业务方裁定 +## 6. 裁定记录(业务方 **2026-09-24**,签核号 **D-28**) + +业务方原话:`D19: 1做 2接受 3做`。 + +| # | 待裁项 | **裁定** | +|---|---|---| +| 1 | **做 α** | ✅ **做** —— 改判分器提示词(段尾那句改成「**仅在拒答语境下**…」+ 给一个非拒答的答非所问反例) | +| 2 | 接受 §4 的边界 | ✅ **接受** —— 「**洞是真的、但当前样本上没触发**」:**既不是"门漏了",也不是"没事"** | +| 3 | 是否做 **β**(守卫升级) | ✅ **做** —— 喂堆砌样本 ⇒ 断言判 fail | +| 4 | 接受「α 之后一致率可能下降」 | ✅ 已并入第 1 条(见下「认下的代价」) | + +### 6.1 原「待业务方裁定」原文(保留,不覆盖) 1. 采纳 **α + γ 合并进 B4**(推荐),还是 **α 单独立项先修**; 2. 承认 §4 的边界 —— 特别是「**洞是真的、但当前样本上没触发**」这句, **不要**读成"门漏了",也**不要**读成"没事"; 3. 是否接受 **α 之后一致率可能下降**(那是仪器变准,不是回归); 4. 是否要把 β(守卫升级)也做了 —— 它不改行为,但能让"洞"这一层**有守卫看着**。 + +### 6.2 ⚠️ 签核前核实:两处「原文已过期」(不得照抄 DEC 旧文) + +- **γ(加堆砌类参照条目)已随 B4 落地** —— `eval/judge_refs.json` 有 **8 条「D 金丝雀」**, + 含 **3 条 `kind=stacked_non_answer`**(`C3`/`C13`/`C19`) + ⇒ 原 §6-1 的选项「**α + γ 合并进 B4**」**已不适用**(B4 早跑完); +- **洞的真实性 = 双确认**:金丝雀(间接)+ **B4 `calibrate` 人工标注实测 3 例**(直接)。 + +### 6.3 认下的代价(**不得在后续复述中省略成"没问题"**) + +- ⚠️ **α ≈ 4.9 万 token**(回归 ≈3.5 万/轮 + `calibrate` ≈1.4 万); +- ⚠️ **α 会让判分器更严** ⇒ `judge_human_agreement` **可能下降** —— **那是仪器变准,不是回归**; +- ⚠️ **β 眼下就是红的**(洞未修)⇒ **实施时必须二选一**:先修 α 让它转绿,或**显式标"已知未修"**。 diff --git "a/docs/decisions/DEC-020-skill\347\227\225\350\277\271\351\227\250\347\232\204\345\210\244\346\215\256\350\214\203\345\233\264.md" "b/docs/decisions/DEC-020-skill\347\227\225\350\277\271\351\227\250\347\232\204\345\210\244\346\215\256\350\214\203\345\233\264.md" index 2a18ccd..610aadb 100644 --- "a/docs/decisions/DEC-020-skill\347\227\225\350\277\271\351\227\250\347\232\204\345\210\244\346\215\256\350\214\203\345\233\264.md" +++ "b/docs/decisions/DEC-020-skill\347\227\225\350\277\271\351\227\250\347\232\204\345\210\244\346\215\256\350\214\203\345\233\264.md" @@ -1,6 +1,6 @@ # DEC-020 · 门 2(skill 痕迹门)的判据取了「会话累计」,不是「本次改动前」 -- 日期:2026-09-16 · 状态:**待签核**(草案;终裁 = 业务方) +- 日期:2026-09-16 · 状态:**✅ 已签核**(业务方 2026-09-24;签核号 **D-29** —— 采纳 **α**) - 上游:`CLAUDE.md` 纪律表(**命中即必须调用**)· `A2-R5`(「加硬门,并**逐条如实标注强度**」) · `A2-R10`(「能自动采集既有机器痕迹的,就不要靠自述」) - 触发:2026-09-15 会话末,业务方追问「**哪些之前用的 skills 现在跳过了**、留痕-check 用了吗」 @@ -98,8 +98,26 @@ bash_calls = 208 · edit_calls = 38 ⇒ α 必须带**显式豁免**(同 `[no-test: <理由>]` 的既有约定),且**豁免率可统计**; - **本 DEC 不改变**任何"该调用哪个 skill"的表(那是 `CLAUDE.md` 纪律表的事)。 -## 7. 待业务方裁定 +## 7. 裁定记录(业务方 **2026-09-24**,签核号 **D-29**) -1. 采纳 **δ(先 γ 再 α)**,还是只做 **γ**(如实标强度,不修实现); -2. **α 的误拦风险**是否接受(若不接受,则只能停在 γ); -3. 这条**是否同时改动 KB 的 `A2-R5` 强度表**(KB 是独立仓,须走它自己的 PR + 分支保护)。 +业务方原话:`D20: 1做 2接受`。 + +| # | 待裁项 | **裁定** | +|---|---|---| +| 1 | 采纳 δ(先 γ 再 α)/ 只做 γ | ✅ **做 α**(γ 早已完成,见 §7.1)—— 判据改成「**本次改动之前**」,须让 `skill-trace.sh` 记**有序事件**而非累计计数 | +| 2 | **α 的误拦风险**是否接受 | ✅ **接受** —— 但**必须配显式豁免**(同 `[no-test: <理由>]`)且**豁免率可统计** | +| 3 | 是否同时改 KB 的 `A2-R5` 强度表 | ✅ **已满足**(无需再动,见 §7.1) | + +### 7.1 ⚠️ 签核前核实:两处「原文已过期」(不得照抄 DEC 旧文) + +- **γ 已完成** —— 锚点「门禁硬化」段已把强度**如实降为「半硬」**; +- **§7-3 已满足** —— KB `A2` 篇的强度表已把 skill 痕迹门标为 + 「**半硬 —— 判据是会话级:一次调用后对本会话永久满足**」,且 **`A2-R15` 在位**(5 处)。 + ⇒ 所以本次实际只剩 **α**(真修)。 + +### 7.2 认下的代价(**不得在后续复述中省略成"没问题"**) + +- ⚠️ **α 会误拦**:同一件工作**分多次提交**时,「本次改动前」可能落在**上一次调用之前** + ⇒ **必须配豁免 + 可统计**; +- ⚠️ **零 token**,但**它是门禁改动** ⇒ 必须**先写能红的测试**(本仓对守卫的一贯要求); +- ⚠️ 换掉的是「**一个永远不失败的检查**」—— 而它**比没有检查更坏**(让下游相信这里有结构兜着)。 diff --git "a/docs/decisions/\345\256\232\350\260\203\345\244\215\346\240\270-\347\255\276\346\240\270\350\256\260\345\275\225.md" "b/docs/decisions/\345\256\232\350\260\203\345\244\215\346\240\270-\347\255\276\346\240\270\350\256\260\345\275\225.md" index e0de6d9..ca56057 100644 --- "a/docs/decisions/\345\256\232\350\260\203\345\244\215\346\240\270-\347\255\276\346\240\270\350\256\260\345\275\225.md" +++ "b/docs/decisions/\345\256\232\350\260\203\345\244\215\346\240\270-\347\255\276\346\240\270\350\256\260\345\275\225.md" @@ -393,6 +393,48 @@ Q1 目的 · Q2 受众 · Q3 产物形态 · Q4 存档 → A1 混沌 · A2 灾 「**第 3 条的确是运气**」:若那几天机器丢了,这 8 条**同样会永久消失**; - ⚠️ **接进 CI = 引用面变成约束**:今后报告引用未归档的 run,CI 会红(补救 = 补归档 / 加带理由的允许条目)。 +## D-28 · `DEC-019` 判分器放行口径签核:采纳 **α + β**(2026-09-24,业务方裁定) + +**业务方 2026-09-24 逐条裁定**(原话:`D19: 1做 2接受 3做`): +**①做 α · ②接受 §4 边界 · ③做 β**。决策记录 = `docs/decisions/DEC-019-判分器放行口径.md`。 + +⚠️ **签核前先核实了两处「DEC 原文已过期」**(不是照抄它): +- **γ(加堆砌类参照条目)已随 B4 落地** —— `eval/judge_refs.json` 里有 **8 条「D 金丝雀(构造答案)」**, + 含 **3 条 `kind=stacked_non_answer`**(`C3` / `C13` / `C19`); + ⇒ DEC §6-1 那个选项「**α + γ 合并进 B4**」**已不适用**(B4 早跑完,γ 是它的前置); +- **洞的真实性 = 双确认**:金丝雀(间接)+ **B4 `calibrate` 人工标注(3 例,直接)**。 + +| # | 签核结论 | 影响 | +|---|---|---| +| **D-28** | ① **做 α**(改判分器提示词:段尾那句改成「**仅在拒答语境下**…」+ 给一个非拒答的答非所问反例);② **接受 §4 边界**;③ **做 β**(守卫升级:喂堆砌样本 ⇒ 断言判 fail) | `app/eval_gate/judge.py` 提示词 · `eval/judge_refs.json`(calibrate 复核)· `tools/judge_canary.py`(β) | + +**认下的代价(签核时预登记,不得复述成"没问题")**: +- ⚠️ **α 花钱** ≈ **4.9 万**(回归 ≈3.5 万/轮 + calibrate ≈1.4 万); +- ⚠️ **α 会让判分器更严** ⇒ `judge_human_agreement` **可能下降** —— + **那是仪器变准,不是回归**(同 `DEC-017` 的代价登记); +- ⚠️ **§4 边界:「洞是真的、但当前样本上没触发」** —— + **既不得读成"门漏了",也不得读成"没事"**; +- ⚠️ **β 眼下就是红的**(洞未修)⇒ **实施时必须二选一**:先修 α 让它转绿,或**显式标"已知未修"**。 + **这一条留给实施时定**(D-28 只裁"做 β")。 + +## D-29 · `DEC-020` 门 2 判据范围签核:采纳 **α**(2026-09-24,业务方裁定) + +**业务方 2026-09-24 逐条裁定**(原话:`D20: 1做 2接受`): +**①做 α · ②接受误拦风险**。决策记录 = `docs/decisions/DEC-020-skill痕迹门的判据范围.md`。 + +⚠️ **签核前先核实**:`DEC-020 §7-3`(是否同步改 KB 的 `A2-R5` 强度表)**已满足** —— +KB `A2` 篇强度表已把 skill 痕迹门标为「**半硬 —— 判据是会话级**」,且 **`A2-R15` 在位**(5 处)。 + +| # | 签核结论 | 影响 | +|---|---|---| +| **D-29** | ① **做 α**(判据改成「**本次改动之前**」;须让 `skill-trace.sh` 记**有序事件**而非累计计数);② **接受误拦风险** | `.claude/hooks/skill-trace.sh` · `.githooks/commit-msg`(门 2)· 锚点/`A2-R5` 的强度标注(α 落地后**可回升**) | + +**认下的代价(签核时预登记,不得复述成"没问题")**: +- ⚠️ **α 会误拦**:同一件工作**分多次提交**时,「本次改动前」可能落在**上一次调用之前** + ⇒ **必须配显式豁免**(同 `[no-test: <理由>]` 的约定)且**豁免率可统计**; +- ⚠️ **零 token**,但**它是门禁改动** ⇒ 必须**先写能红的测试**(本仓对守卫的一贯要求); +- ⚠️ 换掉的是「**一个永远不失败的检查**」—— 但它**比没有检查更坏**(让下游相信这里有结构兜着)。 + ## 变更历史 - 2026-09-09 建立;签核 D-1..D-4。 - 2026-09-10 签核 D-5/D-6、D-7a/D-7b/D-8、D-9(总签通过)。 @@ -438,3 +480,9 @@ Q1 目的 · Q2 受众 · Q3 产物形态 · Q4 存档 → A1 混沌 · A2 灾 - 2026-09-21 签核 **D-27:`DEC-018`**(MTTR 目标值 → 「证据覆盖目标」)—— 逐条裁定四条, 并明确认下「**第 3 条(8 个归档是补的)的确是运气**」。⚠️ 四条认下的代价已随条目记录, **不得复述成"没问题"**。 +- 2026-09-24 签核 **D-28:`DEC-019`**(判分器放行口径)—— 采纳 **α + β**;接受 §4 边界。 + ⚠️ 签核前核实:**γ 已随 B4 落地**(参照集 8 条金丝雀,含 3 条 `stacked_non_answer`) + ⇒ DEC 原选项「α + γ 合并进 B4」**已过期**;认下代价(α ≈4.9 万 · 一致率可能下降 = 仪器变准 · β 眼下就是红的)。 +- 2026-09-24 签核 **D-29:`DEC-020`**(门 2 判据范围)—— 采纳 **α**;接受误拦风险(须配豁免 + 可统计)。 + ⚠️ 签核前核实:`§7-3`(改 KB 强度表)**已满足**(KB 已标「半硬」· `A2-R15` 在位)。 + ⇒ **全仓待签核 = 0**;`DEC-018`/`DEC-019`/`DEC-020`/`DEC-022` **均已签核**。