프롬프트, 점수 가중치, 모델 라우팅, 워크플로우 변경이 실제로 성능을 개선하는지 검증합니다.
- 테마 적중률
- 주도주 적중률
- 랭킹 품질
- 오탐 비율
- 갭페이드 실패율
- 훈련 구간과 검증 구간을 분리
- 롤링 OOS 검증 필수
- 미래 정보 사용 금지
- 프롬프트 자동 승격 금지
- 승격 시 평가 아티팩트 저장 필수
services/api/app/services/evaluation/metrics.py
- 후보의 train/validation 종합 점수가 모두 baseline보다 높아야 함
- validation 오탐 비율과 갭페이드 실패율이 허용 범위를 넘으면 탈락
- 통과하더라도 수동 승인 없이는 운영 라우팅 반영 금지