eval: observe baseline-aware soft-start snapshot comparison

[lipluscodex]

目的

#106 / PR #107 でmainへresult-free固定した baseline-aware-soft-start-snapshot-v2 を、登録済みprivate snapshotに対して一度だけ観測する。development全8 hard gate通過時だけholdoutを一度開き、exclusive observed resultを別PRで追加する。

前提

• freeze merge commitは d73d115348e3e166f38445f74c6072829d4fe847。
• manifest first-addition commitではdevelopment / holdout outputが存在せず、protocol / fixture / schedule / gate / schema / audit / runner / verifierは固定済み。
• private snapshot locator、SHA-256 003f24478f8d18dd34ab6aee5d939202d116f195ac8db33c29e38ab7e0f456d1、size 425984、schema / row countはmanifestに登録済み。snapshot本体とabsolute pathはpublic artifactへ含めない。
• v1 protocol / result / snapshotを入力にせず、v1 observed development edgeをv2 developmentで再利用しない。

実行順

1. main上のmanifest first-addition commitでregistered outputs不在、historical artifact hash、result-free audit、private snapshot exact hash / schema / row count、source DB / live config不変をpreflightする。
2. developmentを一度だけexclusive createする。
3. verifierでdevelopment payload、baseline-aware q3 derivation、8 hard gate、privacy、source isolationを再計算する。
4. developmentが支持かつ全8 hard gate passの場合だけholdoutを一度だけexclusive createし、同じverifierで再計算する。
5. developmentが不支持または判定不能ならholdoutを開かず停止する。

制約

• freeze artifact、query、case、baseline、ratio、schedule、metric、gate、schema、writer、verifierを変更しない。
• preflight / execution failureを修正して同じstageを再実行しない。registered result生成前のpreflight failureはresultを作らずfailure report、生成後のfailureはexclusive artifactを保持して停止する。
• outputを上書き、再実行、再集計、field reorderしない。
• source database、live config、private snapshotを変更しない。arm / replayはtemporary cloneだけを変更する。
• public resultへnode本文、snapshot本体、absolute private path、credentialを含めない。
• resultをexternal corpus、production quality、library defaultへ一般化しない。

完了条件

• developmentを一度だけ実行・verifyする。
• conditional holdout規則を守る。
• generated observed JSONだけをfreeze後の別commit / PRで追加し、既存protocol bytesを変更しない。
• full core、optional MCP、eval smoke、historical freeze verification、CIがgreen。
• raw result内の支持 / 不支持 / 判定不能とlocal snapshot限定解釈を報告する。
• このissueではlive config / database cutoverを行わない。cutoverは支持結果の親判断後に別途行う。

対象ファイル

• tests/fixtures/baseline_aware_soft_start_snapshot_v2.development.observed.json
• 全development gate pass時のみ tests/fixtures/baseline_aware_soft_start_snapshot_v2.holdout.observed.json

Related

• eval: make soft-start snapshot comparison baseline-aware #106 / PR eval: freeze baseline-aware soft-start comparison #107 - baseline-aware v2 result-free freeze
• eval: compare soft-start feedback on a fresh snapshot clone #104 / PR eval: compare soft-start feedback on snapshot clones #105 - frozen v1 failure evidence
• feat: add soft-start feedback reinforcement #100 / PR feat: add soft-start feedback reinforcement #103 - soft-start mechanics