Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
27 changes: 15 additions & 12 deletions CLAUDE.md
Original file line number Diff line number Diff line change
Expand Up @@ -121,7 +121,7 @@ eval/ · eval/cases/ · observability/ · 飞轮/ # 评估门 / **失
app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层
```

## 当前指针(随推进更新 — 上次更新 **2026-09-21** 会话:`B5 已签核(D-26)· 已实施已合(#75)· 收尾批次收口 · 分支已清`)
## 当前指针(随推进更新 — 上次更新 **2026-10-18** 会话:`DEC-019/020 均已实施并合(#81/#79)· 只剩 live 回归未跑 · 锚点已按实况更正`)

> **🔜 新会话从这里接**:读本段 + `ROADMAP.md`「📌 交接」即可,不必翻历史。
> **B 的 12 个节点:已签核闭环 12 / 待终裁 0 / 技术欠账 0** —— 签核号到 **D-26**。
Expand Down Expand Up @@ -167,7 +167,8 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层
> | P8 **B5 判据不变量重审** | ✅ **完成** —— **`DEC-022` 已签核(D-26)· 已实施 · 已合(#75)** · grilling 3 轮 · **不变量不动** |
>
> **➡️ 新会话第一件事**:`B4` / **`B5` 都已完成并合入 main**;**待签核 = 0**(2026-09-24 全部签完)。
> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 只签了「做」,实现未动**(见下)。
> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 均已实施并合**(#81 / #79)——
> **只剩 `DEC-019` 的完整 live 回归没跑**(见下)。
> ⚠️ **`B4` 的标注表已跑完**(`calibrate` 0.88),`docs/校准/2026-09-16-judge校准-标注表-第2轮.md` 是**记录**,不必再读。
>
> **✅ `DEC-022` 已签核 + 已实施 + 已合**(2026-09-21 · D-26 · **#75**)—— 判定表见 §5.1;
Expand All @@ -177,17 +178,19 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层
> **✅ `DEC-018` 已于 2026-09-21 签核**(**D-27**;业务方明确认下「第 3 条**的确是运气**」)。
>
> **✅ 待签核 = 0**(2026-09-24 全部签完)——
> - **`DEC-019`**(判分器把「非拒答的答非所问」也放行了)—— **已签核 D-28**:采纳 **α + β**;
> - **`DEC-020`**(门 2 判据取了「会话累计」)—— **已签核 D-29**:采纳 **α**。
> ⚠️ **两者都只签了「做」,实现未动** ⇒ **下一步 = 实施**(见下)。
> - **`DEC-019`**(判分器放行了「非拒答的答非所问」)—— 签核 **D-28**(α + β)· **✅ 已实施并合(#81)**
> - **`DEC-020`**(门 2 判据取了「会话累计」)—— 签核 **D-29**(α)· **✅ 已实施并合(#79)**
>
> **🔜 当前唯一待办:`DEC-019` 的实施**(⚠️ **要花钱 ⇒ 须你单独批**)
> - **✅ `DEC-020` 的 α 已落地并合**(2026-09-24 · **#79**)—— 门 2 判据改成**时序**,
> 它**不再是"一个永远不失败的检查"**;强度标注已同步更正(见本文件「门禁硬化」段);
> - **`DEC-019` 的 α**:改判分器提示词(段尾那句改成「**仅在拒答语境下**…」+ 非拒答反例)——
> ⚠️ **≈4.9 万 token**(回归 + `calibrate`);**一致率可能下降 = 仪器变准,不是回归**;
> - **`DEC-019` 的 β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**,
> 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修"。
> **🔜 当前唯一未完成:`DEC-019` 的<u>完整 live 回归</u>**(⚠️ **≈3.5 万 token ⇒ 须另批**)
> - **已跑的(judge 侧两件,30,266 token)**:`canary` **0/8**(改前 **3/8 被放过**,id=3/13/19)·
> `calibrate` **1.00**(阈值 0.80;⚠️ 只能写「**本参照集已耗尽信息**」,不得写"已校准");
> - **未跑的**:SUT + judge 的**完整一轮** —— 被测容器已被删,**要重起**
> (`tools/sut-harness/run_sut.sh`;首次等 pip **30–60s**;判据是**能力探针**,不是 `/health`);
> - ⚠️ **为什么不能省**:改 Prompt 的完整回归是本仓既有纪律 ——
> **离线 `calibrate` 测不到「判分器变严后在真实链路里会不会误伤」**。
>
> **其余未完成(不阻塞可用)**:① 轮间 2× 延迟悬案(16 轮内 1 次,成因未指名)
> ② 母体 Kit 缺陷观察(证据 1/2)③ 被测知识库有无文档(R1 探针)。
>
---
> ### 📜 **分界:以下全部是「历史」**(2026-09-10 ~ 2026-09-21 的过程记录)
Expand Down
13 changes: 9 additions & 4 deletions ROADMAP.md
Original file line number Diff line number Diff line change
Expand Up @@ -96,10 +96,15 @@
#### 📌 下一会话开工要盯的

1. **✅ 待签核 = 0**(2026-09-24 全部签完)—— `DEC-019` 签核 **D-28** · `DEC-020` 签核 **D-29**;
2. **🔜 当前唯一待办 = `DEC-019` 的实施**(⚠️ **要花钱 ⇒ 须另行批准**;`DEC-020` 的 α **已落地**,见下):
- **`DEC-019` α**:改判分器提示词 —— ⚠️ **≈4.9 万 token**;**一致率可能下降 = 仪器变准,不是回归**;
- **`DEC-019` β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**,
实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修";
2. **🔜 当前唯一未完成 = `DEC-019` 的<u>完整 live 回归</u>**(⚠️ **≈3.5 万 token ⇒ 须另行批准**):
- **✅ `DEC-019` α+β:<u>已完成并合</u>**(2026-09-24 · **#81**)—— 提示词豁免句收窄到「**仅在拒答语境下**」
+ 给非拒答反例;守卫从**字符串检查**换成**能红的契约判断**
(实测对照:**同一提示词上,旧判据 green、新判据 red**);
- **✅ 已跑 judge 侧两件**(合计 **30,266** token):`canary` **0/8**(改前 **3/8** 被放过,id=**3/13/19**)·
`calibrate` **1.00**(阈值 0.80;⚠️ 只能写「**本参照集已耗尽信息**」);
- **⬜ 未跑**:SUT + judge 的**完整一轮** —— **被测容器已删,要重起**
(`tools/sut-harness/run_sut.sh`;**判据是能力探针,不是 `/health`**;首次等 pip 30–60s)。
⚠️ **不能省**:离线 `calibrate` 测不到「判分器变严后在真实链路里会不会误伤」;
- **✅ `DEC-020` α:<u>已完成并合</u>**(2026-09-24 · **#79**)—— 判据从「会话累计」改成「**时序**」:
「自上次 `git commit` 以来、动手之前,调过 TDD」(`tools/check_skill_before_edit.py`)。
⚠️ **判据改了三版,前两版都被<u>实跑</u>推翻** —— 第二版拿"本轮"当锚,窗口被压成 **49 毫秒**,
Expand Down
Loading