Skip to content

DEC-019 完整 live 回归(47/48 · exit 0)+ 修好 sut-harness - #83

Merged
heweidong-ecco merged 2 commits into
mainfrom
docs/dec-019-live-regression
Oct 18, 2026
Merged

heweidong-ecco merged 2 commits into
mainfrom
docs/dec-019-live-regression

Conversation

@heweidong-ecco

Copy link
Copy Markdown
Owner

为什么

DEC-019 的 α(判分器提示词收窄到「仅拒答语境」)改完后,唯一欠着的验证是完整 live 回归 —— 离线 calibrate 测不到「判分器变严后在真实链路里会不会误伤」。

跑完回归后发现旧 tools/sut-harness/run_sut.sh 已与被测新结构不匹配(api/ → app/、旧镜像过期),同一任务内一并修好,保证这轮回归可复现。

结果

  • run 20261018-182724-e6212c1d:47/48 · 0.9792 · exit 0 · judge 39,697 token · 0 重试 / 0 解析失败
  • 关键判据:rule_hit_judge_fail = 0、soft_miss_judge_pass = 0 ⇒ 未观测到误伤
  • 唯一失败 id=20 是真实被测失败:召回 [55,64,8],未召回含「两者结果互补」的 doc 60;被测如实拒答,judge 判 fail 正确

环境修复(第二个 commit)

  • run_sut.sh 适配 app/ + 官方镜像 fastapi-rag-agent:latest
  • 源码只读挂 /src → 容器内复制到可写 /app:直接只读挂 /app 会被
    /app/.mem0/qdrant/.lock 挡住(实测 OSError [Errno 30] Read-only file system)
  • 新增 EVAL_SUT_DB / EVAL_SUT_SESSION_TOKEN_LIMIT 覆盖
  • 保留能力探针与 DEC-016 被测自证

代价与边界(如实)

  • 生产库 rag_db 已有 345 行,评测语料仅约 125 行 ⇒ 使用副本库 rag_eval_20261018(原库一行未动);决策见 DEC-023
  • 有效轮之前有两轮无效:judge key 401 / 我方语料筛选漏掉 16 篇 seed ⇒ judge 合计 ≈83,000 token;复盘见 docs/复盘/2026-10-18-语料筛选漏掉seed金标语料.md
  • ⚠️ 边界:单轮、n=48;被测版本已从 f2dad78 到 150a963,不能与历史 48/48 基线直接比较

验证

  • pytest:590 passed / 2 skipped
  • tools/check_evidence_coverage.py:✅ 通过
  • harness 真机端到端:exit 0 + 能力探针通过(EVAL_SUT_VERSION=150a963)

落点

DEC-019 §7 · DEC-023 · docs/reports/DEC-019-live回归-2026-10-18.md · eval/cases/fastapi-rag-2026-10-18.json · 复盘 · 3 份 spans.jsonl 证据归档 · tools/sut-harness/

- run 20261018-182724-e6212c1d:被测 fastapi-rag-agent@150a963 + 隔离语料库(125 行)
  → 47/48 · 0.9792 · exit 0 · judge 39,697 token · 0 重试/0 解析失败
- 关键判据:rule_hit_judge_fail=0、soft_miss_judge_pass=0 ⇒ α 未把正确回答判 fail
- 唯一失败 id=20 是真实被测失败:召回 [55,64,8],未召回含「两者结果互补」的 doc 60
- 过程错误:两轮无效(judge key 401 · 我方语料筛选漏 16 篇 seed),judge 合计 ≈83,000 token
- 落点:报告/DEC-019 §7/失败回灌/复盘/证据归档(3 个 spans.jsonl)
- 被测已从 api/ 改为 app/,官方镜像 = fastapi-rag-agent:latest(旧 my-fixed-name-api 已过期)
- 源码只读挂 /src → 容器内复制到可写 /app:直接只读挂 /app 会被
  /app/.mem0/qdrant/.lock 挡住(实测 OSError [Errno 30] Read-only file system)
- 新增可选覆盖 EVAL_SUT_DB / EVAL_SUT_SESSION_TOKEN_LIMIT(隔离库/会话预算)
- 保留能力探针与 DEC-016 被测自证;去掉旧 /deps 卷与启动时 pip install
- 验证:单测 11 passed(stub docker/curl 契约)+ 真机端到端 exit 0、探针通过
- 决策记录:DEC-023 §6
@heweidong-ecco
heweidong-ecco merged commit b0016bd into main Oct 18, 2026
2 checks passed
@heweidong-ecco
heweidong-ecco deleted the docs/dec-019-live-regression branch October 18, 2026 10:45
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant