Skip to content

[验收] 建立 OPS-PTC 工具可调用性、提示成本与 Flash 恢复率基线 #980

Closed
5 of 5 issues completed

Description

@Thatgfsj

父议题 #978。本单提供验证方法,供披露、教学和恢复切片共用。

分 5 个可独立评审的小 PR

  • V1 固定测试环境。复用 test/lib/agent-loop.mjs 和现有 PTC 装配 fixture。记录插件 SHA、宿主版本、平台、worker 哈希、权限、开关和实际 agentPreset。测试用独占临时 DSH_HOME,只用新造的无敏感样例。若实际走 Standard、worker 跳过或模型路由未知,明确报无效。
  • V2 逐步采集字节与工具集合。依赖 V1。扩展 test/ptc-cost.test.mjs / test/prompt-budget.test.mjs 的同一渲染路径。分别输出 system、其中的 tools:sdk、外层 wire tools 和消息历史(含首次教学、提醒)。SDK 是 system 子集,不能重复计数。记录原始 UTF-8 字节与各项名称,用真实官方 read/glob/grep schema。每条记录说明是否发出真实模型请求。
  • V3 验证两档发布矩阵。依赖 V1 和披露发布切片。对旧配置、按需首步、加载 glob/grep 后、全加载、全量直出、只读、窄池和自定义 preset,分别比较 SDK 声明、本步准入和程序可调用集合。至少执行一个只读 sentinel。显式区分有 toolSet 的真实请求与无 toolSet 的诊断视图。检查隐藏官方名之后 tool:* 指引是否还指向它。
  • V4 四个 Flash 行为样例与判定器。入口 bench/tasks 和相应 verifier。分页的正确游标、目录错误后的可用替代、未加载工具的下一程序、等待/多派发误判各一例。题面只给业务目标,答案由判定器验证;加入正常完成无须重试的反例。先用脚本化响应证明判定器可区分成功与失败。
  • V5 隔离对照与报告。依赖 V2–V4。使用实际 OPS-PTC 路由 opencode-go/deepseek-v4.1-flash,固定 reasoning effort。试点可先选2项任务 × 3次重复 × 2组,加同条件 A/A 对照12次,共24个会话。按任务报正确下一步次数/纠偏机会数、通过数/计划数、无进展重试、超时、每步与全程输入及可得的 cache usage。缺失 usage 单列。记录实际配置差异,避免一次调整工具显隐和教学后把效果都归到提示词。

基准读数和读法

58f6e28,宿主0.2.2-rc.1,Linux 隔离 prompt-budget 组:5,743→12,782 B,外层 wire 1,810 B 两侧相同。该测量只涵盖常驻装配。另一个固定工具池的隔离披露组中,按需首轮9,232 B,加载 glob+grep 后27,588 B,无 loader 且全量允许工具已常驻的对照116,076 B。这三行只能在该组内比较。业务工具集完全展开后,应另计前面加载带来的历史消息。

关闭标准

提交可复跑命令、环境摘要、逐项原始计数、失败与跳过、数据口径和双语说明。真实任务通过率、成本和告警后恢复率分开报告;处理好任务才能计入成功。若模型实验无可判定差异,保留该结果。按认领卡分别提交,测量 PR 不兼做工具语义修改。

Activity

  1. Thatgfsj commented on Nov 20, 2026

    @Thatgfsj
    CollaboratorAuthor

    验收与成本口径已随 #1033 合入 main(c70633da):V1–V5 卡(#990–#994)交付了隔离入口、四本账、数据驱动矩阵、行为语料与 Flash 对照(完整分母、以 A/A 噪声带判定「未能区分」)。本单完成,关闭。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions