Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
22 changes: 14 additions & 8 deletions CLAUDE.md
Original file line number Diff line number Diff line change
Expand Up @@ -166,8 +166,8 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层
> | P7 **B4 judge 校准** | ✅ **完成** —— 参照集 **16→26 条** · `calibrate` **0.88**(22/25,阈值 0.80 达标)· **3 条分歧全是堆砌类** ⇒ `DEC-019` 洞**实测确认 3 例**(`#71`) |
> | P8 **B5 判据不变量重审** | ✅ **完成** —— **`DEC-022` 已签核(D-26)· 已实施 · 已合(#75)** · grilling 3 轮 · **不变量不动** |
>
> **➡️ 新会话第一件事**:`B4` 与 **`B5` 都已完成并合入 main** —— 现在**只剩两件待签核**(下段),
> **不需要另开新活**;`DEC-022` 的实施记录在其 **§10**。
> **➡️ 新会话第一件事**:`B4` / **`B5` 都已完成并合入 main**;**待签核 = 0**(2026-09-24 全部签完)。
> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 只签了「做」,实现未动**(见下)。
> ⚠️ **`B4` 的标注表已跑完**(`calibrate` 0.88),`docs/校准/2026-09-16-judge校准-标注表-第2轮.md` 是**记录**,不必再读。
>
> **✅ `DEC-022` 已签核 + 已实施 + 已合**(2026-09-21 · D-26 · **#75**)—— 判定表见 §5.1;
Expand All @@ -176,12 +176,18 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层
>
> **✅ `DEC-018` 已于 2026-09-21 签核**(**D-27**;业务方明确认下「第 3 条**的确是运气**」)。
>
> **🔴 两件待签核**(全仓**只剩这两份**):
> - **`DEC-019`**(判分器把「非拒答的答非所问」也放行了)—— **金丝雀挖出的既有洞**;
> 推荐 **α(改提示词)+ γ(补堆砌条目)并入 B4**,⚠️ 但**先 γ 再 α**;
> - **`DEC-020`**(**门 2 的判据取了「会话累计」** ⇒ 一次调用后永久满足)—— 推荐 **δ:先 γ(如实把强度从"硬"降为"半硬")再 α(真修,须配测试)**。
> ✅ **γ 已做**(本文件「门禁硬化」段已更正强度);**α 未动**(等签核)。
> 🔗 同批已进避坑库 **`A2-R15`** + 强度表同步降级(避坑库 PR **#16**)。
> **✅ 待签核 = 0**(2026-09-24 全部签完)——
> - **`DEC-019`**(判分器把「非拒答的答非所问」也放行了)—— **已签核 D-28**:采纳 **α + β**;
> - **`DEC-020`**(门 2 判据取了「会话累计」)—— **已签核 D-29**:采纳 **α**。
> ⚠️ **两者都只签了「做」,实现未动** ⇒ **下一步 = 实施**(见下)。
>
> **🔜 当前唯一待办:两份 DEC 的实施**
> - **`DEC-019` 的 α**:改判分器提示词(段尾那句改成「**仅在拒答语境下**…」+ 非拒答反例)——
> ⚠️ **≈4.9 万 token**(回归 + `calibrate`);**一致率可能下降 = 仪器变准,不是回归**;
> - **`DEC-019` 的 β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**,
> 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修";
> - **`DEC-020` 的 α**:判据改成「**本次改动之前**」—— **零 token**,但是**门禁改动** ⇒
> 须**先写能红的测试** + 配**豁免**(且豁免率可统计)。
>
---
> ### 📜 **分界:以下全部是「历史」**(2026-09-10 ~ 2026-09-21 的过程记录)
Expand Down
16 changes: 10 additions & 6 deletions ROADMAP.md
Original file line number Diff line number Diff line change
Expand Up @@ -95,12 +95,16 @@

#### 📌 下一会话开工要盯的

1. **`DEC-019` / `DEC-020` 两份草案仍「待签核」** —— 全仓**只剩这两份**
(`DEC-018` 已于同日签核 **D-27**);
2. **`DEC-019` 的实施**:α(改判分器提示词)+ γ(补堆砌条目)—— ⚠️ **顺序须先 γ 再 α**;
3. **✅ `DEC-022`(B5):已签核 + 已实施 + 已合**(**#75**)。
`DEC-022 §10` 记了实施结果(**含两处偏差**:§7.3 的 7→5 · §10.3 的"存疑不阻断"缺口)。
⇒ **收尾批次 P0–P8 全部收口**。
1. **✅ 待签核 = 0**(2026-09-24 全部签完)—— `DEC-019` 签核 **D-28** · `DEC-020` 签核 **D-29**;
2. **🔜 当前唯一待办 = 两份 DEC 的<u>实施</u>**(⚠️ **都只签了「做」,实现未动**):
- **`DEC-019` α**:改判分器提示词 —— ⚠️ **≈4.9 万 token**;**一致率可能下降 = 仪器变准,不是回归**;
- **`DEC-019` β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**,
实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修";
- **`DEC-020` α**:判据改成「**本次改动之前**」—— **零 token**,但是**门禁改动** ⇒
须**先写能红的测试** + 配**豁免**(豁免率可统计)。
> ⚠️ **顺序建议**:`DEC-020 α`(零 token、独立)可先做;`DEC-019 α` 要花钱,**须你另批**。
3. **✅ `DEC-022`(B5):已签核 + 已实施 + 已合**(**#75**);
`DEC-022 §10` 记了实施结果(含两处偏差)⇒ **收尾批次 P0–P8 全部收口**。

#### 🧹 分支已清(2026-09-21,业务方授权)

Expand Down
28 changes: 26 additions & 2 deletions docs/decisions/DEC-019-判分器放行口径.md
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# DEC-019 · 判分器把「非拒答的答非所问」也放行了 —— 提示词自相矛盾

- 日期:2026-09-15 · 状态:**待签核**(草案;终裁 = 业务方)
- 日期:2026-09-15 · 状态:**✅ 已签核**(业务方 2026-09-24;签核号 **D-28** —— 采纳 **α + β**)
- 上游:`DEC-009 §4`(**刻意收窄**:『含其一即符』**只在拒答语境**成立,不放行"答非所问")
· `DEC-004`(判据分层:保留**防关键词堆砌闸**)· 收尾批次 `D-24` 的 PR-5(A2)
- **发现的来源**:A2 的**金丝雀**(`tools/judge_canary.py`,计划书 §六 验收②)
Expand Down Expand Up @@ -112,10 +112,34 @@ assert "答非所问" not in sysp.replace("答非所问时", "")
> `judge_human_agreement` **可能下降** —— 那**不是回归**,是**仪器变准了**(同 `DEC-017` 的代价登记)。
> **⇒ 先加 γ(堆砌条目)、再改 α**,这样两头都在参照集里有对照。

## 6. 待业务方裁定
## 6. 裁定记录(业务方 **2026-09-24**,签核号 **D-28**)

业务方原话:`D19: 1做 2接受 3做`。

| # | 待裁项 | **裁定** |
|---|---|---|
| 1 | **做 α** | ✅ **做** —— 改判分器提示词(段尾那句改成「**仅在拒答语境下**…」+ 给一个非拒答的答非所问反例) |
| 2 | 接受 §4 的边界 | ✅ **接受** —— 「**洞是真的、但当前样本上没触发**」:**既不是"门漏了",也不是"没事"** |
| 3 | 是否做 **β**(守卫升级) | ✅ **做** —— 喂堆砌样本 ⇒ 断言判 fail |
| 4 | 接受「α 之后一致率可能下降」 | ✅ 已并入第 1 条(见下「认下的代价」) |

### 6.1 原「待业务方裁定」原文(保留,不覆盖)

1. 采纳 **α + γ 合并进 B4**(推荐),还是 **α 单独立项先修**;
2. 承认 §4 的边界 —— 特别是「**洞是真的、但当前样本上没触发**」这句,
**不要**读成"门漏了",也**不要**读成"没事";
3. 是否接受 **α 之后一致率可能下降**(那是仪器变准,不是回归);
4. 是否要把 β(守卫升级)也做了 —— 它不改行为,但能让"洞"这一层**有守卫看着**。

### 6.2 ⚠️ 签核前核实:两处「原文已过期」(不得照抄 DEC 旧文)

- **γ(加堆砌类参照条目)<u>已随 B4 落地</u>** —— `eval/judge_refs.json` 有 **8 条「D 金丝雀」**,
含 **3 条 `kind=stacked_non_answer`**(`C3`/`C13`/`C19`)
⇒ 原 §6-1 的选项「**α + γ 合并进 B4**」**已不适用**(B4 早跑完);
- **洞的真实性 = 双确认**:金丝雀(间接)+ **B4 `calibrate` 人工标注实测 3 例**(直接)。

### 6.3 认下的代价(**不得在后续复述中省略成"没问题"**)

- ⚠️ **α ≈ 4.9 万 token**(回归 ≈3.5 万/轮 + `calibrate` ≈1.4 万);
- ⚠️ **α 会让判分器更严** ⇒ `judge_human_agreement` **可能下降** —— **那是仪器变准,不是回归**;
- ⚠️ **β 眼下就是红的**(洞未修)⇒ **实施时必须二选一**:先修 α 让它转绿,或**显式标"已知未修"**。
28 changes: 23 additions & 5 deletions docs/decisions/DEC-020-skill痕迹门的判据范围.md
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# DEC-020 · 门 2(skill 痕迹门)的判据取了「会话累计」,不是「本次改动前」

- 日期:2026-09-16 · 状态:**待签核**(草案;终裁 = 业务方)
- 日期:2026-09-16 · 状态:**✅ 已签核**(业务方 2026-09-24;签核号 **D-29** —— 采纳 **α**)
- 上游:`CLAUDE.md` 纪律表(**命中即必须调用**)· `A2-R5`(「加硬门,并**逐条如实标注强度**」)
· `A2-R10`(「能自动采集既有机器痕迹的,就不要靠自述」)
- 触发:2026-09-15 会话末,业务方追问「**哪些之前用的 skills 现在跳过了**、留痕-check 用了吗」
Expand Down Expand Up @@ -98,8 +98,26 @@ bash_calls = 208 · edit_calls = 38
⇒ α 必须带**显式豁免**(同 `[no-test: <理由>]` 的既有约定),且**豁免率可统计**;
- **本 DEC 不改变**任何"该调用哪个 skill"的表(那是 `CLAUDE.md` 纪律表的事)。

## 7. 待业务方裁定
## 7. 裁定记录(业务方 **2026-09-24**,签核号 **D-29**)

1. 采纳 **δ(先 γ 再 α)**,还是只做 **γ**(如实标强度,不修实现);
2. **α 的误拦风险**是否接受(若不接受,则只能停在 γ);
3. 这条**是否同时改动 KB 的 `A2-R5` 强度表**(KB 是独立仓,须走它自己的 PR + 分支保护)。
业务方原话:`D20: 1做 2接受`。

| # | 待裁项 | **裁定** |
|---|---|---|
| 1 | 采纳 δ(先 γ 再 α)/ 只做 γ | ✅ **做 α**(γ 早已完成,见 §7.1)—— 判据改成「**本次改动之前**」,须让 `skill-trace.sh` 记**有序事件**而非累计计数 |
| 2 | **α 的误拦风险**是否接受 | ✅ **接受** —— 但**必须配显式豁免**(同 `[no-test: <理由>]`)且**豁免率可统计** |
| 3 | 是否同时改 KB 的 `A2-R5` 强度表 | ✅ **已满足**(无需再动,见 §7.1) |

### 7.1 ⚠️ 签核前核实:两处「原文已过期」(不得照抄 DEC 旧文)

- **γ <u>已完成</u>** —— 锚点「门禁硬化」段已把强度**如实降为「半硬」**;
- **§7-3 <u>已满足</u>** —— KB `A2` 篇的强度表已把 skill 痕迹门标为
「**半硬 —— 判据是会话级:一次调用后对本会话永久满足**」,且 **`A2-R15` 在位**(5 处)。
⇒ 所以本次实际只剩 **α**(真修)。

### 7.2 认下的代价(**不得在后续复述中省略成"没问题"**)

- ⚠️ **α 会误拦**:同一件工作**分多次提交**时,「本次改动前」可能落在**上一次调用之前**
⇒ **必须配豁免 + 可统计**;
- ⚠️ **零 token**,但**它是门禁改动** ⇒ 必须**先写能红的测试**(本仓对守卫的一贯要求);
- ⚠️ 换掉的是「**一个永远不失败的检查**」—— 而它**比没有检查更坏**(让下游相信这里有结构兜着)。
48 changes: 48 additions & 0 deletions docs/decisions/定调复核-签核记录.md
Original file line number Diff line number Diff line change
Expand Up @@ -393,6 +393,48 @@ Q1 目的 · Q2 受众 · Q3 产物形态 · Q4 存档 → A1 混沌 · A2 灾
「**第 3 条的确是运气**」:若那几天机器丢了,这 8 条**同样会永久消失**;
- ⚠️ **接进 CI = 引用面变成约束**:今后报告引用未归档的 run,CI 会红(补救 = 补归档 / 加带理由的允许条目)。

## D-28 · `DEC-019` 判分器放行口径签核:采纳 **α + β**(2026-09-24,业务方裁定)

**业务方 2026-09-24 逐条裁定**(原话:`D19: 1做 2接受 3做`):
**①做 α · ②接受 §4 边界 · ③做 β**。决策记录 = `docs/decisions/DEC-019-判分器放行口径.md`。

⚠️ **签核前先核实了两处「DEC 原文已过期」**(不是照抄它):
- **γ(加堆砌类参照条目)<u>已随 B4 落地</u>** —— `eval/judge_refs.json` 里有 **8 条「D 金丝雀(构造答案)」**,
含 **3 条 `kind=stacked_non_answer`**(`C3` / `C13` / `C19`);
⇒ DEC §6-1 那个选项「**α + γ 合并进 B4**」**已不适用**(B4 早跑完,γ 是它的前置);
- **洞的真实性 = 双确认**:金丝雀(间接)+ **B4 `calibrate` 人工标注(3 例,直接)**。

| # | 签核结论 | 影响 |
|---|---|---|
| **D-28** | ① **做 α**(改判分器提示词:段尾那句改成「**仅在拒答语境下**…」+ 给一个非拒答的答非所问反例);② **接受 §4 边界**;③ **做 β**(守卫升级:喂堆砌样本 ⇒ 断言判 fail) | `app/eval_gate/judge.py` 提示词 · `eval/judge_refs.json`(calibrate 复核)· `tools/judge_canary.py`(β) |

**认下的代价(签核时预登记,不得复述成"没问题")**:
- ⚠️ **α 花钱** ≈ **4.9 万**(回归 ≈3.5 万/轮 + calibrate ≈1.4 万);
- ⚠️ **α 会让判分器更严** ⇒ `judge_human_agreement` **可能下降** ——
**那是仪器变准,不是回归**(同 `DEC-017` 的代价登记);
- ⚠️ **§4 边界:「洞是真的、但当前样本上没触发」** ——
**既不得读成"门漏了",也不得读成"没事"**;
- ⚠️ **β 眼下就是红的**(洞未修)⇒ **实施时必须二选一**:先修 α 让它转绿,或**显式标"已知未修"**。
**这一条留给实施时定**(D-28 只裁"做 β")。

## D-29 · `DEC-020` 门 2 判据范围签核:采纳 **α**(2026-09-24,业务方裁定)

**业务方 2026-09-24 逐条裁定**(原话:`D20: 1做 2接受`):
**①做 α · ②接受误拦风险**。决策记录 = `docs/decisions/DEC-020-skill痕迹门的判据范围.md`。

⚠️ **签核前先核实**:`DEC-020 §7-3`(是否同步改 KB 的 `A2-R5` 强度表)**<u>已满足</u>** ——
KB `A2` 篇强度表已把 skill 痕迹门标为「**半硬 —— 判据是会话级**」,且 **`A2-R15` 在位**(5 处)。

| # | 签核结论 | 影响 |
|---|---|---|
| **D-29** | ① **做 α**(判据改成「**本次改动之前**」;须让 `skill-trace.sh` 记**有序事件**而非累计计数);② **接受误拦风险** | `.claude/hooks/skill-trace.sh` · `.githooks/commit-msg`(门 2)· 锚点/`A2-R5` 的强度标注(α 落地后**可回升**) |

**认下的代价(签核时预登记,不得复述成"没问题")**:
- ⚠️ **α 会误拦**:同一件工作**分多次提交**时,「本次改动前」可能落在**上一次调用之前**
⇒ **必须配显式豁免**(同 `[no-test: <理由>]` 的约定)且**豁免率可统计**;
- ⚠️ **零 token**,但**它是门禁改动** ⇒ 必须**先写能红的测试**(本仓对守卫的一贯要求);
- ⚠️ 换掉的是「**一个永远不失败的检查**」—— 但它**比没有检查更坏**(让下游相信这里有结构兜着)。

## 变更历史
- 2026-09-09 建立;签核 D-1..D-4。
- 2026-09-10 签核 D-5/D-6、D-7a/D-7b/D-8、D-9(总签通过)。
Expand Down Expand Up @@ -438,3 +480,9 @@ Q1 目的 · Q2 受众 · Q3 产物形态 · Q4 存档 → A1 混沌 · A2 灾
- 2026-09-21 签核 **D-27:`DEC-018`**(MTTR 目标值 → 「证据覆盖目标」)—— 逐条裁定四条,
并明确认下「**第 3 条(8 个归档是补的)的确是运气**」。⚠️ 四条认下的代价已随条目记录,
**不得复述成"没问题"**。
- 2026-09-24 签核 **D-28:`DEC-019`**(判分器放行口径)—— 采纳 **α + β**;接受 §4 边界。
⚠️ 签核前核实:**γ 已随 B4 落地**(参照集 8 条金丝雀,含 3 条 `stacked_non_answer`)
⇒ DEC 原选项「α + γ 合并进 B4」**已过期**;认下代价(α ≈4.9 万 · 一致率可能下降 = 仪器变准 · β 眼下就是红的)。
- 2026-09-24 签核 **D-29:`DEC-020`**(门 2 判据范围)—— 采纳 **α**;接受误拦风险(须配豁免 + 可统计)。
⚠️ 签核前核实:`§7-3`(改 KB 强度表)**已满足**(KB 已标「半硬」· `A2-R15` 在位)。
⇒ **全仓待签核 = 0**;`DEC-018`/`DEC-019`/`DEC-020`/`DEC-022` **均已签核**。
Loading