Skip to content

[OPS-PTC V4] 编写分页、目录、加载、等待四种任务及判定器 #993

Closed

Description

@Thatgfsj

V4 · 编写分页、目录、加载、等待四种任务及判定器

总计划 #978,所属工作流 #980。

问题:给模型提供任务目标,判定器验证最终答案以及纠偏后的第一步。不要在题面教正确工具。

前置条件:依赖 V1;可在 V2 开发期间并行写独立的 bench 样例。

从哪里读

  • bench/tasks/
  • bench/lib/fixtures/
  • test/ 中对应的 benchmark 验收

认领前记录当前 main SHA。以上为优先检查的范围,需要扩大写域时先说明文件与原因。

按顺序执行

  1. 分页任务把目标放在第二页,验收行号和内容;目录任务要求定位一个已知文件,依据当时可用工具判定下一步。
  2. 未加载任务验证 load 与下一程序调用的顺序;等待任务计合理等待及误报。每题固定 fixture、权限、预算和正确答案。
  3. 用脚本化的成功轨迹、原样重试、错误答案与正常结束逐一跑 verifier;确认它们不会因“步数少”误判为通过。

验收清单

  • 每题至少一条应过和一条应失败轨迹,失败输出说明是哪项事实不符。
  • 恢复率只统计真的出现纠偏机会的样例;无机会应报无分母而非100%。

范围边界与停手条件:不发送真实模型请求,不因为某个模型答案差而放宽 verifier。

验证与交付

检查 bench/cli.mjs 的 help 和任务 verifier,记录任务 ID、输入输出、复跑命令。

认领模板:编号 / 当前 SHA / 目标文件 / 第一个失败样例。提交时贴修改前与修改后结果,以及撤掉改动后会失败的断言。已有 PR 请先在原讨论协作。行为及中英文文档同 PR。

Activity

  1. Thatgfsj commented on Nov 19, 2026

    @Thatgfsj
    CollaboratorAuthor

    993 / main@58f6e28 / 要改的文件 / 第一个失败样例

    要改的文件(含新增原因):

    • bench/tasks/ptc-paged-lookup.task.json、ptc-catalog-recover.task.json、ptc-sdk-load-order.task.json、ptc-wait-dispatch.task.json:四个行为任务样例,题面只给业务目标。
    • bench/lib/fixtures/paged.mjs(新增 pagedLog 生成器)+ bench/lib/fixtures/index.mjs:分页任务需要单文件长日志并把目标行放进第二页,现有生成器均不导出该行号与内容,故新增一族并注册。
    • bench/lib/tracks.mjs(轨迹判定器框架与四个判定器)、bench/lib/track-corpus.mjs(脚本化应过/应败轨迹)、bench/tracks.mjs + bench/cli.mjs(新增 tracks 子命令:node bench/cli.mjs tracks)。
    • test/bench-tracks.test.mjs(新增验收)、test/bench-fixtures.test.mjs(登记 pagedLog)。
    • bench/README.md、docs/CHANGELOG.md。

    第一个失败样例:ptc-paged-lookup 的应败轨迹——partial+nextOffset 后下一程序原样重读第 1 页(光标未推进)、未到 complete 即停、answer.txt 内容错误。当前仓库没有任何判定器能把它判 FAIL,红绿第一步就是为这类轨迹写失败断言。

  2. Thatgfsj commented on Nov 20, 2026

    @Thatgfsj
    CollaboratorAuthor

    已由 #1033 合入 main 交付(18 张卡并集,见 PR 描述与 docs/CHANGELOG.md 的 Unreleased 条目)。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions