## V4 · 编写分页、目录、加载、等待四种任务及判定器 总计划 #978,所属工作流 #980。 **问题**:给模型提供任务目标,判定器验证最终答案以及纠偏后的第一步。不要在题面教正确工具。 **前置条件**:依赖 V1;可在 V2 开发期间并行写独立的 bench 样例。 ### 从哪里读 - bench/tasks/ - bench/lib/fixtures/ - test/ 中对应的 benchmark 验收 认领前记录当前 main SHA。以上为优先检查的范围,需要扩大写域时先说明文件与原因。 ### 按顺序执行 1. 分页任务把目标放在第二页,验收行号和内容;目录任务要求定位一个已知文件,依据当时可用工具判定下一步。 2. 未加载任务验证 load 与下一程序调用的顺序;等待任务计合理等待及误报。每题固定 fixture、权限、预算和正确答案。 3. 用脚本化的成功轨迹、原样重试、错误答案与正常结束逐一跑 verifier;确认它们不会因“步数少”误判为通过。 ### 验收清单 - [ ] 每题至少一条应过和一条应失败轨迹,失败输出说明是哪项事实不符。 - [ ] 恢复率只统计真的出现纠偏机会的样例;无机会应报无分母而非100%。 **范围边界与停手条件**:不发送真实模型请求,不因为某个模型答案差而放宽 verifier。 ### 验证与交付 检查 bench/cli.mjs 的 help 和任务 verifier,记录任务 ID、输入输出、复跑命令。 认领模板:编号 / 当前 SHA / 目标文件 / 第一个失败样例。提交时贴修改前与修改后结果,以及撤掉改动后会失败的断言。已有 PR 请先在原讨论协作。行为及中英文文档同 PR。
Activity
Thatgfsj commentedon Nov 19, 2026
993 / main@58f6e28 / 要改的文件 / 第一个失败样例
要改的文件(含新增原因):
第一个失败样例:ptc-paged-lookup 的应败轨迹——partial+nextOffset 后下一程序原样重读第 1 页(光标未推进)、未到 complete 即停、answer.txt 内容错误。当前仓库没有任何判定器能把它判 FAIL,红绿第一步就是为这类轨迹写失败断言。
bench(tracks): script and judge the four OPS-PTC behavior tasks
Thatgfsj commentedon Nov 20, 2026
已由 #1033 合入 main 交付(18 张卡并集,见 PR 描述与 docs/CHANGELOG.md 的 Unreleased 条目)。
bench(tracks): script and judge the four OPS-PTC behavior tasks