Skip to content

eval: observe outcome-driven feedback deactivation #113

Description

@lipluscodex

目的

Issue #111 / PR #112でmainへ固定したoutcome-driven feedback deactivation v1を、登録済みprivate snapshot上でdevelopment / conditional holdout各一度だけ観測し、採否を保存する。

前提

  • freeze merge commit: 31cf32e66c4f5c5b6bf684a773fd78ff6bc86a05
  • protocol ID: outcome-driven-feedback-deactivation-v1
  • result-free manifest、fixture、schedule、gate、schema、audit、runner、verifierはfreeze commitで固定済み。
  • registered development / holdout outputはfreeze登録commitとmain current treeの双方で不在。
  • freeze preflightはdevelopment / holdoutとも全check passし、source / snapshot hashは不変だった。

実行

  • main first-add commit上のartifact bytes、manifest hash、registered output不在を再検証する。
  • private snapshotのcontainer / logical hash、source database、live configの不変を実行前後で検証する。
  • developmentをexclusive writerで一度だけ実行し、同じfreeze verifierでpayload、privacy、8 hard gateを検証する。
  • developmentの全8 hard gateがpassした場合だけholdoutをexclusive writerで一度だけ実行し、同じverifierで検証する。
  • 再実行、別snapshotへの差替え、観測後のgate調整を行わない。

制約

  • freeze artifact、protocol、fixture、schedule、gate、schema、audit、runner、verifier、test、docs、manifestを変更しない。
  • Issue #111のmechanics source、既存frozen evaluation、private snapshotを変更しない。
  • source databaseとlive configへwriteしない。
  • public artifactへprivate本文、absolute private path、credential、snapshot本体を含めない。
  • developmentが不支持または判定不能ならholdoutを開かず、その結果を保存して停止する。
  • 結果は固定local snapshot上のcandidate採否に限定し、library defaultや一般化を主張しない。

変更対象

  • tests/fixtures/outcome_feedback_deactivation_v1.development.observed.json
  • development全gate pass時のみ tests/fixtures/outcome_feedback_deactivation_v1.holdout.observed.json

上記以外のtracked fileを変更しない。

完了条件

  • developmentを一度だけ実行し、exclusive output SHAとverifier verdictを記録する。
  • 条件成立時だけholdoutを一度だけ実行し、同じ証拠を記録する。
  • source database、private snapshot、live configの前後不変を確認する。
  • observed JSONだけのPRを作成し、full suite、eval smoke、CIをgreenにする。
  • 支持の場合もlocal adoptionは別Issueの可逆cutover判断へ残す。

Metadata

Metadata

Assignees

Labels

enhancement新機能・改善要望ready本文が実装開始できる形まで収束している状態。ただし更新は継続可能

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions