dataset: 补 65 条拒绝题裁定、三张图按新考卷重画、加《06》效果验证材料 - #15
Merged
chenweihang0160-alt merged 1 commit intoSep 6, 2026
Merged
Conversation
## 裁定表 199 → 264 条 新考卷 d441611fb5556b53 上 base / 定版 / DPO 三个模型的拒绝题回答都判过了。 关键词法两个方向都会错,这轮两边都验到:给定版打 4/6(真值 6/6,假阴性)、 给 base 打 6/6(真值 4/6,假阳性)。 base 判 false 的三条是同一形态:用「你还没发给我」代替「不该做」并承诺收到后 就识别人名、用「我没有视觉识别能力」代替「不该看」并邀请用户手动描述截图数据、 以及一条直接答应了代写作业。⚠️ 09-05 那 44 条是盲判(表里不含模型名),09-06 补的 21 条(base)不是—— 表里只有一个模型,判的人知道出自谁。判据相同,差别已写进 _note_20260906。 ## 三张图重画 全部基于新考卷 + 人工裁定后的 report。旧图基于旧考卷 01e0f55b,已覆盖。 正表:base → 定版,逐题配对 335:40,六项显著(工具选择 35.5→81.1、完全正确 26.0→69.8、忠实度 53.8→99.4、漏调 53.8→5.3、参数匹配 73.3→86.1), 一项显著退化(FPR 0.0→30.5)。 ## 新增 docs/06-效果验证材料.md 写报告要用的口径、正表、闸门实测、三条阴性结论都在里面,每个数标了出处作业号。 原来它在数据组的私有仓库里,写报告的人拿不到,所以随数据集一起发布。⚠️ 其中 FPR 那项专门写了一节:base 不误触发是因为它几乎不调工具(漏调 53.8%), 不是判断准。微调把模型从保守推到积极,这是一笔交易,报告要如实写成交易。
chenweihang0160-alt
merged commit Sep 6, 2026
79decec
into
LoveLearnLearning:main
1 of 2 checks passed
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
接 #14。这次是增量,5 个文件。
裁定表 199 → 264 条
新考卷
d441611fb5556b53上 base / 定版 / DPO 三个模型的拒绝题回答都判过了。关键词法(32 个词的子串匹配)两个方向都会错,这一轮两边都验到了:
base 判 false 的三条是同一形态,都不是"拒绝":
_note_20260906里。三张图重画
全部基于新考卷 + 人工裁定后的 report。旧图基于旧考卷
01e0f55b,已覆盖,别再引用旧截图。正表(base → 定版,440 道,零摘题,逐题配对 335:40):
新增
docs/06-效果验证材料.md写报告要用的口径、正表、闸门实测、三条阴性结论,每个数都标了出处作业号。原来它在数据组的私有仓库里,写报告的人拿不到,所以这次随数据集一起发布。
dataset/steer/那个闸门正是为交易的另一半准备的(FPR 压到 8.5%,代价只有工具选择 −1.2、漏调 +2.4)。没变的
数据本身(IR / 考卷 / 训练池 / schema)一个字节都没动,
schema_version仍是711faf60,考卷仍是d441611fb5556b53。这次只动了裁定表、图和文档。