## V5 · 执行 Flash 小规模对照并报告完整分母 总计划 #978,所属工作流 #980。 **问题**:较短的首轮提示也可能换来更多调用或失败。评测必须同时记录是否完成任务和付出的全程成本。 **前置条件**:等待 V1–V4、待测实现及已确认模型访问预算。 ### 从哪里读 - bench/ - 优先复用现有调度、比较和封存模块 认领前记录当前 main SHA。以上为优先检查的范围,需要扩大写域时先说明文件与原因。 ### 按顺序执行 1. 先冻结任务哈希、模型 opencode-go/deepseek-v4.1-flash、推理档、权限和配置。每组实际 dump 与请求必须证明只改变预注册因素。 2. 试点用两个任务,每题3次、2个实验组,共12会话;另跑12个同配置 A/A 估计波动。交错顺序,每次使用新工作区。 3. 逐任务报计划数、通过/失败/超时/缺 usage、纠偏机会、下一步正确数、重试、全程输入。列首轮与加载后的差值,保存脱敏汇总和复算方法。 ### 验收清单 - [ ] 两组路由/preset 不同或 A/A 缺失时不发布归因结论;超时保留在任务完成率分母。 - [ ] 结果在噪声内就报告未能区分;不得将一次成功恢复或 SDK 字节差称为模型成功率提升。 **范围边界与停手条件**:不动生产 profile,不提交凭据或原始私有对话;只在构建阶段运行完整 CI。 ### 验证与交付 检查 bench/cli.mjs 的 help 和任务 verifier,记录任务 ID、输入输出、复跑命令。 认领模板:编号 / 当前 SHA / 目标文件 / 第一个失败样例。提交时贴修改前与修改后结果,以及撤掉改动后会失败的断言。已有 PR 请先在原讨论协作。行为及中英文文档同 PR。
Activity
Thatgfsj commentedon Nov 19, 2026
认领 V5 测量卡。
Thatgfsj commentedon Nov 19, 2026
V5 完成,PR #1024(分支 card/v5-flash-comparison,基线 main@58f6e28 + 合入已过审前置 v4@ec4d25c 与 v3@c68fe3d)。
关键前置发现(修改前的无效证据):宿主一次性 headless runner 无法组合 agent preset(原话拒绝 "which the one-shot runner does not compose"),插件对无注册表 host realm 按 Standard 处理——实测冒烟会话 agentPreset.val=null、走 native write/bash 工具面。直接跑 bench ab 会测成 Standard,按 #980 判无效。因此 V5 用 V1 隔离入口组合 + 真实 llm-pi-ai 适配器自建驱动(bench/v5-run.mjs),冒烟先证路由与 usage 采集可用(run_code-only 面、嵌套 ops_* 信封、逐步含 cache 桶的 usage)。
完整分母(24 会话真实模型运行):
| sweep | 计划 | 完成 | 超时 | 缺 usage | 验证通过 |
| 对照(按需 vs 全量,2任务×3重复×2臂,AB/BA 交错) | 12 | 12 | 0 | 0 | 11 |
| A/A(同条件按需跑两臂) | 12 | 12 | 0 | 0 | 12 |
噪声判定:未能区分。 通过率、无进展重试、纠偏机会全部落在 A/A 带内(n=3);唯一远超 A/A 带的是档位自身的输入侧提示成本(首轮 5.3k vs 30.0k tokens、总量约 2×、cacheRead 2.4×)与按需 loader 机械邀请的一次可恢复输入错误(3 次全部恢复,3/3 通过)。唯一 fail 会话是选错配置层的推理失误,留在完成率与通过率分母内。不作任何模型质量归因。
撤掉改动会失败的断言(测量卡口径):判定器自证 10/10 匹配(node bench/cli.mjs tracks);bench-tracks 套件对 scanReissues/countOpportunities 导出保持绿;V4 剧本专属规则(catalog 必须先犯错、load-order 必须先撞未加载拒绝)有意不对真实运行生效——从不犯错的模型不得被判为演砸剧本。
复跑命令与逐项表格见 PR 描述与 docs/flash-comparison-v5.md(中文 docs/Flash对照-V5.md)。产物在 bench/runs/v5-comparison、bench/runs/v5-aa、冒烟 bench/runs/v5-smoke。