Skip to content

docs: 评测体系方案与闸门判定材料 - #87

Merged
Smilewithoutfalling merged 2 commits into
masterfrom
docs/eval-system
Nov 2, 2026
Merged

Smilewithoutfalling merged 2 commits into
masterfrom
docs/eval-system

Conversation

@Smilewithoutfalling

Copy link
Copy Markdown
Owner

这是什么

把评测与闸门侧遗留的 8 份未跟踪文档一次性入库。内容均为既有设计/规格,不含实现代码,不改任何现有行为。

文件 内容
docs/roadmap/eval-system.md 四层 24 节点评测体系(只做分析与取舍;与规格冲突时以规格为准)
docs/roadmap/eval-system-spec.md 实现规格:24 张任务卡、报告 v2 字段、验收命令、文件清单
docs/roadmap/four-axes-mapping.md 四板斧对照,每条带 file:line
docs/GATE-外部验证闸门.md 阶段 3.5 闸门执行方案
docs/REVIEW-商业标尺问题清单.md 以「完整商业产品」为标尺的问题清单
docs/gate/JUDGE-GUIDE.md 闸门人工判定手册(看哪些变量、怎么判)
docs/gate/judge_worksheet.md 50 题逐题摊平的判定工作台
docs/gate/review_ai_draft.md AI 预标注 draft,待人工终审;若采纳,报告须标注「AI 预标注 + 人工复核」

前置依赖

eval-system-spec.md 与 four-axes-mapping.md 引用 memory-system.md / memory-system-spec.md。这两份已在 #86(3ce6b77)入库,所以引用不会断链。

不在本次范围

工作区另有 web-dist.zip、ui/web/web/、ui/web/e2e/*.png 等构建与测试产物,未提交。

校验

  • 8 份文件全为文档,本次 diff 无任何 .py / .ts 改动
  • 规格结构自检:围栏 104(偶数)、表格列数零错列
  • 敏感信息扫描:无 key / token / 邮箱;仅含本机路径,用于说明 .venv 失效原因与历史报告 runs[].file 为绝对路径这两个事实

- roadmap/eval-system.md:四层 24 节点评测体系(只做分析与取舍)
- roadmap/eval-system-spec.md:实现规格(24 张任务卡、报告 v2、验收命令)
- roadmap/four-axes-mapping.md:四板斧对照(每条带 file:line)
- GATE-外部验证闸门.md:阶段 3.5 闸门执行方案
- REVIEW-商业标尺问题清单.md:以完整商业产品为标尺的问题清单
- gate/JUDGE-GUIDE.md、gate/judge_worksheet.md:闸门人工判定手册与 50 题工作台
- gate/review_ai_draft.md:闸门判定的 AI 预标注 draft(待人工终审)

除 review_ai_draft.md 外均为设计/规格文档,不含实现代码,不改任何现有行为。
four-axes-mapping.md 有 18 处 `文件:行`,其中 6 处已在 master 上偏移
(app/eval/comparator.py 今天 +122 行、report.py +187 行),而全文没有
说明行号属于哪一版,读者无法分辨对错。补锚点 906d98f(2026-10-27),
并说明按内容定位而非按下标跳。

REVIEW-商业标尺问题清单.md 的 M07 引 ui/chat_app.py:38,该文件已随
c668ff4(F5 去 Streamlit)删除。补注现状指向 app/memory/,不改原判定 ——
文档自身声明基线 16d51c3,引用在当时是准的,只是读者现在找不到那个文件。

纯文档,无代码改动。
@Smilewithoutfalling
Smilewithoutfalling merged commit 25b371d into master Nov 2, 2026
7 checks passed
@Smilewithoutfalling
Smilewithoutfalling deleted the docs/eval-system branch November 2, 2026 03:12
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant