From 541bcc8dd95c4ef4d7b668d32d390572e954470d Mon Sep 17 00:00:00 2001 From: heweidong-ecco <290444878+heweidong-ecco@users.noreply.github.com> Date: Sun, 18 Oct 2026 17:45:55 +0800 Subject: [PATCH] =?UTF-8?q?docs(=E9=94=9A=E7=82=B9):=20=E6=8C=89=E5=AE=9E?= =?UTF-8?q?=E5=86=B5=E6=9B=B4=E6=AD=A3=20=E2=80=94=E2=80=94=20DEC-019/020?= =?UTF-8?q?=20=E5=9D=87=E5=B7=B2=E5=AE=9E=E6=96=BD=E5=B9=B6=E5=90=88,?= =?UTF-8?q?=E5=8F=AA=E5=89=A9=20live=20=E5=9B=9E=E5=BD=92=E6=9C=AA?= =?UTF-8?q?=E8=B7=91?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 锚点此前停在 2026-09-24 18:57(#80 那次),**比实况旧一次合并**: 它写「`DEC-019` / `DEC-020` 只签了『做』,实现未动」「当前唯一待办 = DEC-019 的实施」, 而 `DEC-019` 的 α+β 已在**同日 19:12 以 #81 合入**。 按我们自己立的规矩(「锚点只放当前为真的断言;live 断言办完就当轮改写」)更正: - 抬头:上次更新 2026-09-21 → **2026-10-18**; - `CLAUDE.md` 指针 / `ROADMAP.md` 交接段:**改为「均已实施并合(#81 / #79)」**; - **唯一未完成项写明 = `DEC-019` 的完整 live 回归**(≈3.5 万 ⇒ 须另批), 并写清**已跑什么**(canary 0/8 · calibrate 1.00,30,266 token)、**未跑什么**、 **为什么不能省**(离线 calibrate 测不到真实链路里的误伤); - 顺带列出**不阻塞的三项**(2× 延迟悬案 · 母体观察 · R1 探针)。 验证:锚点守卫 exit 0 · 584 passed / 2 skipped。 提交前两问:① **本次无决策事项**(纯记录更正,事实与依据均写在正文); ② 本仓无 CHANGELOG 机制。 --- CLAUDE.md | 27 +++++++++++++++------------ ROADMAP.md | 13 +++++++++---- 2 files changed, 24 insertions(+), 16 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index 786b972..a2580ce 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -121,7 +121,7 @@ eval/ · eval/cases/ · observability/ · 飞轮/ # 评估门 / **失 app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 ``` -## 当前指针(随推进更新 — 上次更新 **2026-09-21** 会话:`B5 已签核(D-26)· 已实施已合(#75)· 收尾批次收口 · 分支已清`) +## 当前指针(随推进更新 — 上次更新 **2026-10-18** 会话:`DEC-019/020 均已实施并合(#81/#79)· 只剩 live 回归未跑 · 锚点已按实况更正`) > **🔜 新会话从这里接**:读本段 + `ROADMAP.md`「📌 交接」即可,不必翻历史。 > **B 的 12 个节点:已签核闭环 12 / 待终裁 0 / 技术欠账 0** —— 签核号到 **D-26**。 @@ -167,7 +167,8 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 > | P8 **B5 判据不变量重审** | ✅ **完成** —— **`DEC-022` 已签核(D-26)· 已实施 · 已合(#75)** · grilling 3 轮 · **不变量不动** | > > **➡️ 新会话第一件事**:`B4` / **`B5` 都已完成并合入 main**;**待签核 = 0**(2026-09-24 全部签完)。 -> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 只签了「做」,实现未动**(见下)。 +> `DEC-022` 的实施记录在其 **§10**;**`DEC-019` / `DEC-020` 均已实施并合**(#81 / #79)—— +> **只剩 `DEC-019` 的完整 live 回归没跑**(见下)。 > ⚠️ **`B4` 的标注表已跑完**(`calibrate` 0.88),`docs/校准/2026-09-16-judge校准-标注表-第2轮.md` 是**记录**,不必再读。 > > **✅ `DEC-022` 已签核 + 已实施 + 已合**(2026-09-21 · D-26 · **#75**)—— 判定表见 §5.1; @@ -177,17 +178,19 @@ app/ .claude/skills/ .github/(CI-CD) tests/ # 实现层 > **✅ `DEC-018` 已于 2026-09-21 签核**(**D-27**;业务方明确认下「第 3 条**的确是运气**」)。 > > **✅ 待签核 = 0**(2026-09-24 全部签完)—— -> - **`DEC-019`**(判分器把「非拒答的答非所问」也放行了)—— **已签核 D-28**:采纳 **α + β**; -> - **`DEC-020`**(门 2 判据取了「会话累计」)—— **已签核 D-29**:采纳 **α**。 -> ⚠️ **两者都只签了「做」,实现未动** ⇒ **下一步 = 实施**(见下)。 +> - **`DEC-019`**(判分器放行了「非拒答的答非所问」)—— 签核 **D-28**(α + β)· **✅ 已实施并合(#81)** +> - **`DEC-020`**(门 2 判据取了「会话累计」)—— 签核 **D-29**(α)· **✅ 已实施并合(#79)** > -> **🔜 当前唯一待办:`DEC-019` 的实施**(⚠️ **要花钱 ⇒ 须你单独批**) -> - **✅ `DEC-020` 的 α 已落地并合**(2026-09-24 · **#79**)—— 门 2 判据改成**时序**, -> 它**不再是"一个永远不失败的检查"**;强度标注已同步更正(见本文件「门禁硬化」段); -> - **`DEC-019` 的 α**:改判分器提示词(段尾那句改成「**仅在拒答语境下**…」+ 非拒答反例)—— -> ⚠️ **≈4.9 万 token**(回归 + `calibrate`);**一致率可能下降 = 仪器变准,不是回归**; -> - **`DEC-019` 的 β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**, -> 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修"。 +> **🔜 当前唯一未完成:`DEC-019` 的完整 live 回归**(⚠️ **≈3.5 万 token ⇒ 须另批**) +> - **已跑的(judge 侧两件,30,266 token)**:`canary` **0/8**(改前 **3/8 被放过**,id=3/13/19)· +> `calibrate` **1.00**(阈值 0.80;⚠️ 只能写「**本参照集已耗尽信息**」,不得写"已校准"); +> - **未跑的**:SUT + judge 的**完整一轮** —— 被测容器已被删,**要重起** +> (`tools/sut-harness/run_sut.sh`;首次等 pip **30–60s**;判据是**能力探针**,不是 `/health`); +> - ⚠️ **为什么不能省**:改 Prompt 的完整回归是本仓既有纪律 —— +> **离线 `calibrate` 测不到「判分器变严后在真实链路里会不会误伤」**。 +> +> **其余未完成(不阻塞可用)**:① 轮间 2× 延迟悬案(16 轮内 1 次,成因未指名) +> ② 母体 Kit 缺陷观察(证据 1/2)③ 被测知识库有无文档(R1 探针)。 > --- > ### 📜 **分界:以下全部是「历史」**(2026-09-10 ~ 2026-09-21 的过程记录) diff --git a/ROADMAP.md b/ROADMAP.md index d438f26..1c39798 100644 --- a/ROADMAP.md +++ b/ROADMAP.md @@ -96,10 +96,15 @@ #### 📌 下一会话开工要盯的 1. **✅ 待签核 = 0**(2026-09-24 全部签完)—— `DEC-019` 签核 **D-28** · `DEC-020` 签核 **D-29**; -2. **🔜 当前唯一待办 = `DEC-019` 的实施**(⚠️ **要花钱 ⇒ 须另行批准**;`DEC-020` 的 α **已落地**,见下): - - **`DEC-019` α**:改判分器提示词 —— ⚠️ **≈4.9 万 token**;**一致率可能下降 = 仪器变准,不是回归**; - - **`DEC-019` β**:守卫升级(喂堆砌样本 ⇒ 断言判 fail)—— ⚠️ **眼下就是红的**, - 实施时**二选一**:先修 α 让它转绿 / 显式标"已知未修"; +2. **🔜 当前唯一未完成 = `DEC-019` 的完整 live 回归**(⚠️ **≈3.5 万 token ⇒ 须另行批准**): + - **✅ `DEC-019` α+β:已完成并合**(2026-09-24 · **#81**)—— 提示词豁免句收窄到「**仅在拒答语境下**」 + + 给非拒答反例;守卫从**字符串检查**换成**能红的契约判断** + (实测对照:**同一提示词上,旧判据 green、新判据 red**); + - **✅ 已跑 judge 侧两件**(合计 **30,266** token):`canary` **0/8**(改前 **3/8** 被放过,id=**3/13/19**)· + `calibrate` **1.00**(阈值 0.80;⚠️ 只能写「**本参照集已耗尽信息**」); + - **⬜ 未跑**:SUT + judge 的**完整一轮** —— **被测容器已删,要重起** + (`tools/sut-harness/run_sut.sh`;**判据是能力探针,不是 `/health`**;首次等 pip 30–60s)。 + ⚠️ **不能省**:离线 `calibrate` 测不到「判分器变严后在真实链路里会不会误伤」; - **✅ `DEC-020` α:已完成并合**(2026-09-24 · **#79**)—— 判据从「会话累计」改成「**时序**」: 「自上次 `git commit` 以来、动手之前,调过 TDD」(`tools/check_skill_before_edit.py`)。 ⚠️ **判据改了三版,前两版都被实跑推翻** —— 第二版拿"本轮"当锚,窗口被压成 **49 毫秒**,