Skip to content

运行时:缺少真实 Pi adapter 的受控测量证据 #10

Description

@ZZDR1023

用户可见症状

当前 FakeRuntimeAdapter 可提供确定性 CI/local 基线,但 PiRuntimeAdapter 尚无一次可审计、经授权的真实运行测量。因此 alpha 不能把 fake 成功表述为真实 Pi runtime 的质量、成本、延迟、失败率或人工干预表现。

查重与关联

已逐条复核全部开放 Issue #3#4#5#9 和关闭 Issue #1

外部前提(当前阻断)

需要用户明确批准一次受控 live runtime 验收,并提供或确认可用的 Pi provider/model 配置与成本边界。不得在 Issue、PR、终端输出、run state、project.zip 或 benchmark report 中暴露 API key、cookie、session、provider token、模型私有 prompt 或绝对宿主路径。当前 agent 会话的 PI_* 环境仅说明协调器自身运行方式,不能自动视为产品 runtime 的授权。

后续范围

在授权后,只使用公开 synthetic 或用户明确允许的最小题包,执行受预算约束的 Pi run,并记录:

  • provider/model/thinking 的受限 opaque identity;
  • wall time、token、cost、人工 review/intervention、hard errors 和可复现 artifact/evidence 结果;
  • 对不可获取的指标保留 null / unavailable,不得写为 0 或成功;
  • 失败 fingerprint 与安全分类,不保存原始 provider response、secret 或 private prompt。

执行前必须做不泄密的 capability preflight;若 runtime/权限/预算不可用,记录 blockedunavailable,不伪装为测量成功。

验收

主控在获批预算内完成至少一次真实 Pi adapter 运行,独立验证 result contract、Evidence Graph、报告去敏和 metrics 状态;输出能明确区分 measured 与 unavailable/blocked。随后由人确认成本、数据使用范围与结果解释。

非目标

  • 不将真实 provider 凭据写入仓库或 CI。
  • 不把一次 live 运行夸大为全面 benchmark 或模型质量保证。
  • 当前不派 code worker;等待授权与可用 runtime。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

P2小缺陷、工程化与体验打磨,按队列处理enhancementNew feature or request

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions