eval: validate feedback on repository-native corpus

[lipluscodex]

目的

merge commit c4aa1a80fc7cd5ae1c613718deecda173440452b に固定された corpora/repository-native-controlled-v2/ を唯一の source input とし、trace-credited feedback が relation retrieval を変化させるかを development / holdout で検証する。

この評価は public repository-native controlled benchmark の因果検証であり、外部 corpus 一般化、大規模性能、既定値変更、production 採用を主張しない。

source と分離

• graph は v2 本文の同一 directory 相対 Markdown link だけから導出する。README catalog、見出し、filename、source URL、split metadata、fixture用 pseudo edge を relation に使わない。
• development と holdout は v2 の node ID、corpus doc path、source URL、credited edge identity が相互に disjoint であることを機械的に検証する。
• eval: validate trace-credited feedback adaptation #29 / eval: independently reproduce trace credited feedback adaptation #31 / eval: measure longitudinal feedback adaptation across corpora #37 / eval: validate longitudinal feedback on real D1 corpora #39 / eval: validate feedback on a single real D1 corpus #40 と既存 feedback-adaptation fixture は identity fields のみを denylist audit に使用する。fixture path、node ID、doc path、source URL、credited edge のいずれかが重なるなら、結果を生成せず停止する。gold、metric、gate、result は読まない。

protocol

• fixture、gold、provenance、manifest、gate、runner、tests、contamination audit を result-free で commit/push してから development を一回だけ実行する。
• control と treatment は同じ feedback event を記録する。control は mutation なし、treatment は保存済み relation trace の credited path だけを強化する。score query と feedback query は分離する。
• baseline MRR < 1.0 なら strict final relation-MRR improvement を要求する。baseline = 1.0 なら safety gate 全通過の non-regression のみを許容し、改善の主張には使わない。
• development の全 gate が通る場合だけ holdout を一回実行する。観測後は code、protocol、fixture、gold、docs、result を変更・再実行・再集計しない。
• gate は source hash、UTF-8、link-derived topology、split disjointness、prior identity audit、path projection、control non-mutation、credited-only mutation、deterministic replay、output hash/exclusive-write/no-recompute、holdout isolation を含む。

停止条件

source topology、prior identity disjointness、headroom、または result-free protocol を固定できない場合は、result/development/holdout/aggregate を生成せず issue に failure report を投稿して停止する。

[lipluscodex]

評価停止記録

246c32f の result-free freeze 後、development / holdout は各一回だけ生成された。観測値は本コメントでは読まない。

その後、CI の pytest 依存を解消するため test harness だけを 91fff50 で置換した。これは #47 の観測後不変条件の外であり、さらに Linux checkout では frozen corpus source の raw SHA-256 が LF/CRLF 差で一致せず、CI は evaluator test 前に failure となった。

• 再実行、result の読出し・再集計、追加修正、merge は行わない。
• PR eval: validate repository-native feedback #48 と observed output は保全する。
• eval: validate feedback on repository-native corpus #47 は unassessed とし、post-observation exception を明示承認するか、新しい result-free protocol を別 issue で開始するまで waiting とする。