Skip to content

superseded: benchmark research moved to task library and integration #334

New issue
New issue
Closed as not planned
Closed as not planned
superseded: benchmark research moved to task library and integration#334
Labels
area:workbenchCLI workbench: profile, A/B loop, quality gates, evidence reportsbot-reviewedkind:taskBounded delivery task with a delegated slicepriority:P2Decide or start after this week. Only with status:proposed or status:acceptedstatus:proposedWaiting for the decision named in the status block

Description

@Bounty-hunter
Bounty-hunter
opened on Nov 3, 2026

Current state: 按用户明确委托取消独立“选题调研”分工，范围迁入 #336 和 #337；本 Issue 以 not planned 关闭，含义是合并跟踪，不是全部功能已验收。
Decision needed: 本次范围迁移的关闭无需另行决定；#252/#336/#337 的项目范围与交付验收继续由对应 owner 记录。
Next action: 后续选题研究在 #336、接入方案研究在 #337 随实现持续进行。

内容去向

原工作 后续归属
多类工程任务选择、论文和开源比较、来源/许可证、复用理由 #336：长期任务库建设
为实际 Agent/Workbench/评测接入选择接口与方案 #337：接入现有执行与评测流程

原研究文档与五类来源记录继续保留，研究要求没有删除。Draft PR #338 保留已经实现的基础任务与 NPU 试点；未来任务和实际 Agent 接入尚未全部完成。

关闭原因、现有证据与剩余限制见本 Issue 的范围合并说明评论。Parent #252；当前两项工作与 PR 安排。此次关闭不代表 #252 验收、#338 批准或任何服务/Agent 收益结论。

Activity

  1. agent-ci-infra-bot commented on Nov 3, 2026

    @agent-ci-infra-bot
    agent-ci-infra-botBot
    on Nov 3, 2026 – with agent-CI-Infra-bot

    Reporter 想把 #252 的宽泛目标收敛为可验收的首批切片：两个算子任务（Softmax、RMSNorm）走 CPU 子集，以“任务包＋适配器＋独立 oracle”交付，并附来源选择与未采用理由的调研文档，请 @Dong1017 接受该范围。裁定：需要人工决策——范围接受者尚未记录决定，交付文档也不在 663f3b3 中，Issue 自身未请求代码改动。未发现试图操纵自动评审的文本。Labels: kind:task, area:workbench, status:proposed, priority:P2（有界决策任务、落在基准/workbench 线，决策仍待记录；priority 为猜测）

    决策仍未记录，父任务仍把首批子集标为未分配

    声称已完成的交付文档不在被评审的树中

    • Where: docs/plans/issue-252/01-research.md、docs/plans/issue-252/README.md（Issue 的 Inputs and deliverables）。
    • Problem: 在 663f3b3 处该目录不存在，git log --all -- docs/plans/issue-252 无任何历史记录，作者当前也没有指向 superseded: benchmark research moved to task library and integration #334 的开放 PR 或分支；docs/plans/ 现有内容仍是扁平的日期文件（如 docs/plans/2026-10-19-campaign-plan-rfc.md）。因此无法核验声明已完成的内容：上游 source/version pin、采用与未采用理由、两种任务的数值风险与独立 oracle 论证、覆盖限制。
    • Impact: 接受“来源与版本已固定”的验收项目前只有 Issue 正文的自我声明，评审无法检查；同时新的 issue 子目录约定未说明是否有意偏离既有 docs/plans/<date>-<topic>.md 惯例。
    • Next: 在 Issue 中链接 Draft PR/分支，或直接贴出 pin 列表（来源、revision、license、未采用理由）；并说明是否打算引入 docs/plans/issue-<n>/ 目录约定（若是，需要一处约定文档而非单次示例）。

    CPU 数值 oracle 的依赖与环境契约未定

    • Where: pyproject.toml:13（dependencies = []）、pyproject.toml:36-38（numpy 仅在可选 image extra）、src/inferrsi/model/validators/image.py:35（numpy 为函数内延迟导入）。
    • Problem: Softmax/RMSNorm 的独立参考实现＋容差比较通常需要 numpy（或 torch 来执行候选 kernel），但本包当前是零运行时依赖，numpy 只在可选 extra 中延迟导入；ready lane 会在隔离虚拟环境、未安装可选后端依赖的情况下安装 wheel 并跑 tests/check_installed.py。“任务包＋适配器”因此必须选一条路并写清楚：把 numpy 提升为硬依赖（改变可移植零依赖契约）、纯 Python 参考实现、还是把参考计算放到外部命令/环境中。此外 KernelBench 类任务的 torch 只能是外部环境前提，缺失时的判定需明确。
    • Impact: 未定这一点时，首批任务包在不同机器上会得到不同结果（跳过 vs 失败 vs INCONCLUSIVE），也会和仓库“验证等级”契约冲突：L0 算子正确性 / L1 微基准是 CPU 可做的（docs/contributing.md:154 起的等级表），但 CPU 结果不能外推到加速器，而本 Issue 目前只以一句话免责。
    • Next: 决策文档写明参考实现语言与容差、oracle 所在侧（校验器侧，参照 src/inferrsi/harness/skill_eval_diagnostic.py:3-4 的注释约定）、缺失依赖时的判定（应为 INCONCLUSIVE 而非 PASS），并说明是否新增依赖。

    首批共享消费方与复用锚点未指定

    • Where: src/inferrsi/harness/skill_eval_engineering.py:20（ADAPTER = "engineering-artifact-v1"）、src/inferrsi/harness/skill_eval_diagnostic.py:12（ADAPTER = "kv-admission-diagnostic-v1"）、src/inferrsi/runspec.py:50 起的 RunSpec.validate()（仍需 baseline/candidate 命令）。
    • Problem: 父任务 [Tracking] Minimal engineering benchmarks shared by Workbench, SkillEval and SearchSpace experiments #252 的验收要求证明共享包可被约定的 Workbench/SkillEval 用例消费，且不复制 task truth 或 runner。本 Issue 只说“任务包＋适配器”，没有说首批消费者是 Workbench 的 A/B 度量还是 SkillEval 的受控 agent 对照，也没有说新任务包复用上面两个版本化 ADAPTER 模式还是另立 schema——这正是出现第三套任务格式的最可能路径。
    • Related work（均已核实）: 开放 Draft PR Add an optional AISBench service benchmark adapter #326（examples/aisbench_adapter.py，Refs [RFC] Integrate AISBench as an optional benchmark tool #289）已经用现有 baseline/candidate/validation 命令复用 runner 来接入外部基准，可作为“适配而非新平台”的先例；[RFC] Benchmark selection by task for InferRSI #60（已关闭）已有任务选择调研报告；这两个都不覆盖本 Issue 的共享任务包子集，因此不构成重复。
    • Next: 在决策文档里点明首批消费方、adapter id 及其版本化方式、以及任务包内容与 oracle 的存放位置；否则“共享接口优先”这一点无法被评审核验。

    顺序纪律与模板缺项

    • Where: AGENTS.md:117（“Work Issue-first: confirm the governing Issue's accepted scope before changing code…”）；Issue 状态块「本地实施和对应说明已完成，方案已用于本地实现」。
    • Problem: 在治理 Issue 的范围尚未被接受时即宣称实现完成，与本仓库的 Issue-first 纪律相反，也让“提交 Draft PR 供范围评审”与“范围已定”混在一起；同时 scoped-task 模板要求的 in/out of scope 与“谁接受完成并可关闭”没有明确写出（正文只写“独立评审与关闭决定另行记录”）。
    • Impact: 后续读者容易把本地实现当成已接受范围的证据，而 [Tracking] Minimal engineering benchmarks shared by Workbench, SkillEval and SearchSpace experiments #252 明确要求验收不能仅因目录或 CI 变绿而成立。
    • Next: 明确标注本地实现为未获接受的草案，并写明关闭权限归属（预计仍是 @Dong1017 / 父任务验收人），使 PR 评审与范围接受保持两条独立记录。

    Reviewed commit: 663f3b3
    Coverage: Checkout: 2645 files at 663f3b3 in a git worktree with the repository's history

  2. agent-ci-infra-bot
    added
    area:workbenchCLI workbench: profile, A/B loop, quality gates, evidence reports
    bot-reviewed
    kind:taskBounded delivery task with a delegated slice
    priority:P2Decide or start after this week. Only with status:proposed or status:accepted
    status:proposedWaiting for the decision named in the status block
    on Nov 3, 2026

  3. agent-ci-infra-bot commented on Nov 3, 2026

    @agent-ci-infra-bot
    agent-ci-infra-botBot
    on Nov 3, 2026 – with agent-CI-Infra-bot

    Reporter 仍想把 #252 收敛为首批 Softmax/RMSNorm CPU 子集（任务包＋适配器＋独立 oracle），本轮编辑把交付指向 Draft PR #338 并附固定快照 d0ce9d7 与验证记录。我核实 #338 存在（draft、head d0ce9d7），其 docs/plans/issue-252/{README,01-research,02-contract,03-tasks,04-integration,validation}.md、src/inferrsi/harness/benchmarks/* 与 Issue 正文中的链接均可读取。裁定：需要人工决策——决定权仍未被记录。

    早期发现状态：F2（交付文档找不到）已解决，文档与验证记录现在在 #338 的 head 中可读；F3（oracle 依赖/环境契约）已答复——01-research 决策 3 与 02-contract 明确纯 Python 标量 double oracle、numpy-axis1-v1 adapter、numpy 只作 benchmarks/dev 可选 extra，worker 在缺依赖时返回 status: error, passed: false；F4（首批消费者与复用锚点）已答复——04-integration 点明 Workbench runspec 与 SkillEval grade_artifact/skill_verifier 两个消费者共享同一 task/grader 身份；F5（顺序纪律/关闭权限）已答复——正文现在把实现标为待评审的 Draft PR，并把关闭决定留给 @Dong1017。F1 仍开放（见下）。

    F1 — 范围决定仍未记录，这是本 Issue 唯一的阻塞项

    Reviewed commit: 663f3b3
    Coverage: Checkout: 2645 files at 663f3b3 in a git worktree with the repository's history

  4. Bounty-hunter
    changed the title [-]task: decide the initial shared engineering benchmark scope and reuse sources[/-] [+]task: select initial optimization tasks and benchmark reuse[/+] on Nov 3, 2026

  5. agent-ci-infra-bot commented on Nov 3, 2026

    @agent-ci-infra-bot
    agent-ci-infra-botBot
    on Nov 3, 2026 – with agent-CI-Infra-bot

    Reporter 希望 @Dong1017 接受（或修订/拒绝）#252 的首批 Softmax/RMSNorm CPU 子集方案（任务包＋适配器＋独立 oracle）；本轮编辑新增“本子项说明”，并把顶部两个文档链接指到当前 Draft PR head ac03ae2，该链接可读、文档齐备。裁定：需要人工决策——范围接受仍未记录，Issue 自身没有请求代码改动。早期发现状态：F1 仍开放；F2（交付文档缺失）、F3（oracle 依赖契约）、F4（消费者/复用锚点）、F5（顺序与关闭权限）在本轮编辑后仍为已解决/已答复，本轮发现一个新的一致性建议（F6），无新增阻塞项。

    F1 — 范围决定仍未记录（沿用上一轮，仍开放，需要人工决策）

    F6 — 同一条 Issue 现在引用两个修订，交付/验证链接仍固定在 v2 之前的快照

    • Where: 正文 源码快照 d0ce9d785e1bead9124eed1cf3f6e9f2e0cf05db 以及「Inputs and deliverables」「公开结果」中的 d0ce9d7 链接；新增顶部链接指向 ac03ae2。
    • Problem: PR feat: add shared engineering task evaluation and Ascend RMSNorm #338 当前 head 是 ac03ae2；d0ce9d7...ac03ae2 之间包含 ce84506（“fix: bind benchmark timing to distinct paired inputs”），它修改了 src/inferrsi/harness/benchmarks/contract.py、src/inferrsi/harness/benchmarks/numpy_task.py、两个 task.json 与测试。PR 描述也写明 v2 更换了 adapter/task/grader 身份、v1 证据不能与 v2 合并。当前 Issue 的「公开结果」仍指向 v1 的 docs/plans/issue-252/validation.md@d0ce9d7；该修订的 01-research.md:39 仍写 numpy-axis1-v1，而 ac03ae2 的 01-research.md:51 和 README.md:53 已把 validation/usefulness 标为 v1 历史证据。
    • Impact: 决策人无法确定接受的是哪个修订，且「公开结果」实际给出的是身份已变、不能与当前 head 证据合并的 v1 记录。
    • Next: 把 Inputs and deliverables 与「公开结果」链接更新到 ac03ae2（或明确写出将接受/拒绝的修订）；需要保留 v1 链接时按 ac03ae2 README 的措辞标成「v1 历史证据」。

    Reviewed commit: 663f3b3
    Coverage: Checkout: 2645 files at 663f3b3 in a git worktree with the repository's history

  6. Bounty-hunter
    changed the title [-]task: select initial optimization tasks and benchmark reuse[/-] [+]task: select representative optimization tasks and reuse designs[/+] on Nov 4, 2026
  7. Bounty-hunter
    changed the title [-]task: select representative optimization tasks and reuse designs[/-] [+]task: select NPU pilot tasks and benchmark reuse[/+] on Nov 4, 2026
  8. Bounty-hunter
    changed the title [-]task: select NPU pilot tasks and benchmark reuse[/-] [+]superseded: benchmark research moved to task library and integration[/+] on Nov 4, 2026

  9. Bounty-hunter commented on Nov 4, 2026

    @Bounty-hunter
    Bounty-hunter
    on Nov 4, 2026
    Author

    范围合并说明：研究随任务和接入继续进行

    用户已明确要求按两项工作整理，并关闭不再独立跟踪的旧 Issue。本 Issue 以 not planned 关闭，表示分工合并，不表示全部功能已完成或项目已验收。

    flowchart LR
    A["#334 选题与复用研究"] --> B["#336 任务选型与来源"]
    A --> C["#337 接入方案与采用理由"]
    A --> D["旧 Issue 结束独立跟踪"]
    Loading
    范围与证据身份

    文档整理版本 125b06451a487e76a1c20c45abe4e22cd8631d68；NPU 实测源码仍为 6308268fc6d1fbf90e9ab97b5da8af79152f39ea。当前变更仅文档和任务组织。Canonical-loader 的具体 finding 已获原 reviewer 清除，不等于整个 PR 获批。

    本次关闭依据是用户对范围合并与弃用项关闭的明确委托。没有新的 accepted implementation revision；#252、#336、#337 的项目接受/验收和 #338 合并仍分别记录。关闭不删除原讨论、研究、历史运行或失败记录。执行人为 Codex，accountable implementer 为 @Bounty-hunter。

  10. Bounty-hunter
    closed this as not plannedon Nov 4, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:workbenchCLI workbench: profile, A/B loop, quality gates, evidence reportsbot-reviewedkind:taskBounded delivery task with a delegated slicepriority:P2Decide or start after this week. Only with status:proposed or status:acceptedstatus:proposedWaiting for the decision named in the status block

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions