Skip to content

[OPS-PTC V5] 执行 Flash 小规模对照并报告完整分母 #994

Closed

Description

@Thatgfsj

V5 · 执行 Flash 小规模对照并报告完整分母

总计划 #978,所属工作流 #980。

问题:较短的首轮提示也可能换来更多调用或失败。评测必须同时记录是否完成任务和付出的全程成本。

前置条件:等待 V1–V4、待测实现及已确认模型访问预算。

从哪里读

  • bench/
  • 优先复用现有调度、比较和封存模块

认领前记录当前 main SHA。以上为优先检查的范围,需要扩大写域时先说明文件与原因。

按顺序执行

  1. 先冻结任务哈希、模型 opencode-go/deepseek-v4.1-flash、推理档、权限和配置。每组实际 dump 与请求必须证明只改变预注册因素。
  2. 试点用两个任务,每题3次、2个实验组,共12会话;另跑12个同配置 A/A 估计波动。交错顺序,每次使用新工作区。
  3. 逐任务报计划数、通过/失败/超时/缺 usage、纠偏机会、下一步正确数、重试、全程输入。列首轮与加载后的差值,保存脱敏汇总和复算方法。

验收清单

  • 两组路由/preset 不同或 A/A 缺失时不发布归因结论;超时保留在任务完成率分母。
  • 结果在噪声内就报告未能区分;不得将一次成功恢复或 SDK 字节差称为模型成功率提升。

范围边界与停手条件:不动生产 profile,不提交凭据或原始私有对话;只在构建阶段运行完整 CI。

验证与交付

检查 bench/cli.mjs 的 help 和任务 verifier,记录任务 ID、输入输出、复跑命令。

认领模板:编号 / 当前 SHA / 目标文件 / 第一个失败样例。提交时贴修改前与修改后结果,以及撤掉改动后会失败的断言。已有 PR 请先在原讨论协作。行为及中英文文档同 PR。

Activity

  1. Thatgfsj commented on Nov 19, 2026

    @Thatgfsj
    CollaboratorAuthor

    认领 V5 测量卡。

    • 编号:994(A 侧实现者)
    • 基准:main@58f6e28(工作分支 card/v5-flash-comparison,另合并已过审前置:card/v4-bench-tasks @ec4d25c 提供 bench/tracks 与四类任务;card/v3-two-tier-matrix @c68fe3d 提供被测的 D2/D3 披露档实现;两者均未合入 main,测量在合并栈上执行并在报告中注明)
    • 要改的文件:bench/v5-collect.mjs(最小采集脚本:真实会话轨迹 → judgeTrack + 完整分母表)、docs/ 下成对双语报告、docs/CHANGELOG.md Unreleased 条目。不改产品代码语义、不改 lib//runtime/。
    • 首个无法采集的指标(测量卡样例):真实 PTC 会话的事件流能否还原判定器所需的逐 API 轨迹(programs + 每次 call 的 envelope)尚未验证——host 在 PTC 预设下事件流可能只暴露整段 run_code 程序而非内部 ops_* 调用;冒烟会话将首先验证这一点,若无法采集,正确下一步次数/纠偏机会数/无进展重试将如实单列为不可判定而不是编造。
  2. Thatgfsj commented on Nov 19, 2026

    @Thatgfsj
    CollaboratorAuthor

    V5 完成,PR #1024(分支 card/v5-flash-comparison,基线 main@58f6e28 + 合入已过审前置 v4@ec4d25c 与 v3@c68fe3d)。

    关键前置发现(修改前的无效证据):宿主一次性 headless runner 无法组合 agent preset(原话拒绝 "which the one-shot runner does not compose"),插件对无注册表 host realm 按 Standard 处理——实测冒烟会话 agentPreset.val=null、走 native write/bash 工具面。直接跑 bench ab 会测成 Standard,按 #980 判无效。因此 V5 用 V1 隔离入口组合 + 真实 llm-pi-ai 适配器自建驱动(bench/v5-run.mjs),冒烟先证路由与 usage 采集可用(run_code-only 面、嵌套 ops_* 信封、逐步含 cache 桶的 usage)。

    完整分母(24 会话真实模型运行):
    | sweep | 计划 | 完成 | 超时 | 缺 usage | 验证通过 |
    | 对照(按需 vs 全量,2任务×3重复×2臂,AB/BA 交错) | 12 | 12 | 0 | 0 | 11 |
    | A/A(同条件按需跑两臂) | 12 | 12 | 0 | 0 | 12 |

    噪声判定:未能区分。 通过率、无进展重试、纠偏机会全部落在 A/A 带内(n=3);唯一远超 A/A 带的是档位自身的输入侧提示成本(首轮 5.3k vs 30.0k tokens、总量约 2×、cacheRead 2.4×)与按需 loader 机械邀请的一次可恢复输入错误(3 次全部恢复,3/3 通过)。唯一 fail 会话是选错配置层的推理失误,留在完成率与通过率分母内。不作任何模型质量归因。

    撤掉改动会失败的断言(测量卡口径):判定器自证 10/10 匹配(node bench/cli.mjs tracks);bench-tracks 套件对 scanReissues/countOpportunities 导出保持绿;V4 剧本专属规则(catalog 必须先犯错、load-order 必须先撞未加载拒绝)有意不对真实运行生效——从不犯错的模型不得被判为演砸剧本。

    复跑命令与逐项表格见 PR 描述与 docs/flash-comparison-v5.md(中文 docs/Flash对照-V5.md)。产物在 bench/runs/v5-comparison、bench/runs/v5-aa、冒烟 bench/runs/v5-smoke。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions