Skip to content

[Grok/dsh 71] 固定任务集的真实模型评测 #203

Description

@Blackman99

Parent

#132

Ticket: 71

Status: ready-for-agent

User Stories: 9, 33, 72, 74(见父规格)

What to build

维护者能以固定模型和配置评价实际 coding 任务完成质量,单独判断 dsh 接入是否影响效果。

Acceptance criteria

  • 固定任务、输入仓库、模型/effort、工具能力、判分方式和费用批准范围,避免事后挑成功样本。
  • 以测试/文件效果与任务成功判断质量,不按逐字回答或工具选择完全一致判失败。
  • 区分模型波动、提示/工具适配缺陷和客户端问题,保留失败/取消证据而非只列均分。
  • 不自行购买资源或开展未经批准的大批量付费评测;无可用凭据时标真实评测阻塞。

Blocked by

Delivery contract

用户于2026-09-20批准当前测试与任务拆分。按父规格的已安装产物/真实终端和公开协议测试验收;实际实现须带适用的文档、Changeset及必要检查。ready-for-agent表示任务已定义,不表示前置任务已完成,也不授权自动开始本轮实施、购买付费资源或发布软件版本。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions