[Experiment] Intent·Domain 다중분류 baseline 비교 #5

Activity

1. hywznn

   added

   area:ai모델링·Agent 오케스트레이션 영역모델링·Agent 오케스트레이션 영역

   type:experiment모델 실험·비교·평가 작업모델 실험·비교·평가 작업

   priority:P1핵심 작업 다음으로 처리할 중요 작업핵심 작업 다음으로 처리할 중요 작업

   status:blocked선행 작업이나 외부 조건으로 진행 불가선행 작업이나 외부 조건으로 진행 불가

   on Jul 16, 2026
2. hywznn

   self-assigned this

   on Jul 16, 2026
3. hywznn

   added this to the M2 · Gold Data & Baseline milestone on Jul 16, 2026
4. hywznn commented on Jul 16, 2026

   

   hywznn

   on Jul 16, 2026

   MemberAuthor

   More actions

   현재 status:blocked입니다. #4의 Gold Seed V1과 독립 평가셋 잠금이 완료된 뒤 baseline 실험을 시작합니다. 그 전 모델 수치는 데이터 기준이 바뀔 때마다 무효가 될 수 있습니다.
5. hywznn

   added this to FOWOCO · Big Projecton Jul 16, 2026
6. github-project-automation

   moved this to Todo in FOWOCO · Big Projecton Jul 16, 2026
7. hywznn

   added a commit that references this issue on Jul 16, 2026

   feat(repo): FOWOCO Knowledge 워크스페이스 구축 (#7)

   ...

   14d2e58
8. hywznn commented on Jul 16, 2026

   

   hywznn

   on Jul 16, 2026

   MemberAuthor

   More actions

   대표 모델 입력·정답 계약을 PR #19에서 INTENT_DOMAIN_MULTI_LABEL로 고정했습니다.

   후보 모델 Smoke Test는 잠긴 평가 18건으로 시작할 수 있지만, 이 결과로 최종 성능을 주장하지 않습니다. 정식 Baseline 비교는 이슈 #4의 Gold 검수 완료 후 진행합니다.

   모델팀 전달 필드:

   • 입력: input_mode, hr_utterance, system_context
   • 정답: intents, domains
   • 보조 출력: workflow_ids, slots_json, missing_slots, ambiguities, next_action
   • 평가: Macro-F1, 유형별 Recall, 다중라벨 Exact Match, 지연시간

   Refs #19
9. chaeeunn4

   closed this as completedon Aug 6, 2026
10. github-project-automation

    moved this from Todo to Done in FOWOCO · Big Projecton Aug 6, 2026