Repository navigation
[Data] Seed 문장 교차 검수와 Gold V1 확정 #4
Description
배경
초기 Seed는 라벨·분기 구조를 확인하기 위한 DRAFT이며 실제 학습 완료 데이터가 아닙니다. 대표 모델은 Intent·Domain 다중라벨 분류로 고정하고, Workflow·Slot은 Agent 보조 정답으로 분리합니다.
완료한 기반 작업
- 대표 모델과 데이터 역할을 dataset manifest로 고정
- Smoke Evaluation 18건 checksum 잠금
- REV-A·REV-B 블라인드 독립 검수 큐 생성
- Intent·Domain 경계 사례 가이드 V1 작성
- 분포·중복·누수·PII·준비 상태 리포트 자동화
- 검수 일치도와 불일치 큐 생성 자동화
- 팀 분류 검수와 전문가 Workflow 검수 범위 분리
남은 작업
- REV-A Intent·Domain 1차 검수
- REV-B Intent·Domain 1차 검수
- Exact Match·Macro Kappa와 불일치표 생성
- 불일치 합의 및 라벨 가이드 V1.1 반영
- 인터뷰 유래 문장의 동의·비식별 범위 확인
- 추가 20
40건 작성으로 Gold Seed 6080건 확보 - 고위험 Workflow·필수서류·조치안 전문가 표본 검수
- 최종 평가셋 확장 계획 확정
완료 기준
- 분류용 Gold 모든 행에 두 명의 독립 검수와 합의 기록 존재
- 개인정보 패턴, Seed 중복, 평가셋 누수 0건
- Intent·Domain Macro Kappa 0.70 이상
- 고위험 Workflow는 전문가 확인 전 Agent 정답으로 사용하지 않음
관련 구현: PR #19
Activity
hywznn commentedon Jul 16, 2026
현재 상태 · 2026-07-16
DRAFT다음 작업
GOLD승격이 Issue가 현재 팀의 가장 먼저 처리할 데이터 작업입니다.
hywznn commentedon Jul 16, 2026
Gold V1은 팀원 두 명의 합의만으로 확정하지 않습니다. 전문가 검수 기준은 #10에서 관리하며, high·critical 및 팀 불일치 사례는 전문가 검수 완료 후 승격합니다.
feat(repo): FOWOCO Knowledge 워크스페이스 구축 (#7)
hywznn commentedon Jul 16, 2026
2026-07-16 진행 현황
PR #19에서 다음 기반 작업을 완료했습니다.
현재 Smoke Evaluation은 사용 가능하지만 Seed 40건은 모두 DRAFT이므로 Gold V1과 분류 Baseline은 아직 준비되지 않았습니다.
다음 작업
관련 PR: #19
feat(data): 독립 검수 일치도와 불일치 큐 생성
hywznn commentedon Jul 16, 2026
추가로 REV-A·REV-B 회수 후 Exact Match, Macro Kappa, 미완료 행, 불일치 행을 자동 계산하는 compare-reviews 명령을 PR #19에 반영했습니다. 데이터 담당자는 생성된 disagreements.csv만 대상으로 최종 합의를 진행하면 됩니다.