diff --git a/CLAUDE.md b/CLAUDE.md index 786b972..a2580ce 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -121,7 +121,7 @@ eval/ · eval/cases/ · observability/ · 飞轮/ # 评估门 / **失 app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 ``` -## 当前指针(随推进更新 — 上次更新 **2026-09-21** 会话:`B5 已签核(D-26)· 已实施已合(#75)· 收尾批次收口 · 分支已清`) +## 当前指针(随推进更新 — 上次更新 **2026-10-18** 会话:`DEC-019/020 均已实施并合(#81/#79)· 只剩 live 回归未跑 · 锚点已按实况更正`) > **🔜 新会话从这里接**:读本段 + `ROADMAP.md`「📌 交接」即可,不必翻历史。 > **B 的 12 个节点:已签核闭环 12 / 待终裁 0 / 技术欠账 0** —— 签核号到 **D-26**。 @@ -167,7 +167,8 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 > | P8 **B5 判据不变量重审** | ✅ **完成** —— **`DEC-022` 已签核(D-26)· 已实施 · 已合(#75)** · grilling 3 轮 · **不变量不动** | > > **➡️ 新会话第一件事**:`B4` / **`B5` 都已完成并合入 main**;**待签核 = 0**(2026-09-24 全部签完)。 -> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 只签了「做」,实现未动**(见下)。 +> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 均已实施并合**(#81 / #79)—— +> **只剩 `DEC-019` 的完整 live 回归没跑**(见下)。 > ⚠️ **`B4` 的标注表已跑完**(`calibrate` 0.88),`docs/校准/2026-09-16-judge校准-标注表-第2轮.md` 是**记录**,不必再读。 > > **✅ `DEC-022` 已签核 + 已实施 + 已合**(2026-09-21 · D-26 · **#75**)—— 判定表见 §5.1; @@ -177,17 +178,19 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 > **✅ `DEC-018` 已于 2026-09-21 签核**(**D-27**;业务方明确认下「第 3 条**的确是运气**」)。 > > **✅ 待签核 = 0**(2026-09-24 全部签完)—— -> - **`DEC-019`**(判分器把「非拒答的答非所问」也放行了)—— **已签核 D-28**:采纳 **α + β**; -> - **`DEC-020`**(门 2 判据取了「会话累计」)—— **已签核 D-29**:采纳 **α**。 -> ⚠️ **两者都只签了「做」,实现未动** ⇒ **下一步 = 实施**(见下)。 +> - **`DEC-019`**(判分器放行了「非拒答的答非所问」)—— 签核 **D-28**(α + β)· **✅ 已实施并合(#81)** +> - **`DEC-020`**(门 2 判据取了「会话累计」)—— 签核 **D-29**(α)· **✅ 已实施并合(#79)** > -> **🔜 当前唯一待办:`DEC-019` 的实施**(⚠️ **要花钱 ⇒ 须你单独批**) -> - **✅ `DEC-020` 的 α 已落地并合**(2026-09-24 · **#79**)—— 门 2 判据改成**时序**, -> 它**不再是"一个永远不失败的检查"**;强度标注已同步更正(见本文件「门禁硬化」段); -> - **`DEC-019` 的 α**:改判分器提示词(段尾那句改成「**仅在拒答语境下**…」+ 非拒答反例)—— -> ⚠️ **≈4.9 万 token**(回归 + `calibrate`);**一致率可能下降 = 仪器变准,不是回归**; -> - **`DEC-019` 的 β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**, -> 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修"。 +> **🔜 当前唯一未完成:`DEC-019` 的完整 live 回归**(⚠️ **≈3.5 万 token ⇒ 须另批**) +> - **已跑的(judge 侧两件,30,266 token)**:`canary` **0/8**(改前 **3/8 被放过**,id=3/13/19)· +> `calibrate` **1.00**(阈值 0.80;⚠️ 只能写「**本参照集已耗尽信息**」,不得写"已校准"); +> - **未跑的**:SUT + judge 的**完整一轮** —— 被测容器已被删,**要重起** +> (`tools/sut-harness/run_sut.sh`;首次等 pip **30–60s**;判据是**能力探针**,不是 `/health`); +> - ⚠️ **为什么不能省**:改 Prompt 的完整回归是本仓既有纪律 —— +> **离线 `calibrate` 测不到「判分器变严后在真实链路里会不会误伤」**。 +> +> **其余未完成(不阻塞可用)**:① 轮间 2× 延迟悬案(16 轮内 1 次,成因未指名) +> ② 母体 Kit 缺陷观察(证据 1/2)③ 被测知识库有无文档(R1 探针)。 > --- > ### 📜 **分界:以下全部是「历史」**(2026-09-10 ~ 2026-09-21 的过程记录) diff --git a/ROADMAP.md b/ROADMAP.md index d438f26..1c39798 100644 --- a/ROADMAP.md +++ b/ROADMAP.md @@ -96,10 +96,15 @@ #### 📌 下一会话开工要盯的 1. **✅ 待签核 = 0**(2026-09-24 全部签完)—— `DEC-019` 签核 **D-28** · `DEC-020` 签核 **D-29**; -2. **🔜 当前唯一待办 = `DEC-019` 的实施**(⚠️ **要花钱 ⇒ 须另行批准**;`DEC-020` 的 α **已落地**,见下): - - **`DEC-019` α**:改判分器提示词 —— ⚠️ **≈4.9 万 token**;**一致率可能下降 = 仪器变准,不是回归**; - - **`DEC-019` β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**, - 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修"; +2. **🔜 当前唯一未完成 = `DEC-019` 的完整 live 回归**(⚠️ **≈3.5 万 token ⇒ 须另行批准**): + - **✅ `DEC-019` α+β:已完成并合**(2026-09-24 · **#81**)—— 提示词豁免句收窄到「**仅在拒答语境下**」 + + 给非拒答反例;守卫从**字符串检查**换成**能红的契约判断** + (实测对照:**同一提示词上,旧判据 green、新判据 red**); + - **✅ 已跑 judge 侧两件**(合计 **30,266** token):`canary` **0/8**(改前 **3/8** 被放过,id=**3/13/19**)· + `calibrate` **1.00**(阈值 0.80;⚠️ 只能写「**本参照集已耗尽信息**」); + - **⬜ 未跑**:SUT + judge 的**完整一轮** —— **被测容器已删,要重起** + (`tools/sut-harness/run_sut.sh`;**判据是能力探针,不是 `/health`**;首次等 pip 30–60s)。 + ⚠️ **不能省**:离线 `calibrate` 测不到「判分器变严后在真实链路里会不会误伤」; - **✅ `DEC-020` α:已完成并合**(2026-09-24 · **#79**)—— 判据从「会话累计」改成「**时序**」: 「自上次 `git commit` 以来、动手之前,调过 TDD」(`tools/check_skill_before_edit.py`)。 ⚠️ **判据改了三版,前两版都被实跑推翻** —— 第二版拿"本轮"当锚,窗口被压成 **49 毫秒**,