[검증 필요] C1. Cascade Routing Tuning — 실배포 검증 (Classifier v7)

[devfloor9]

문서

docs/agentic-ai-platform/reference-architecture/inference-gateway/cascade-routing-tuning.md

배경

Phase 3 트랙 C1에서 추가된 Cascade Routing 튜닝 가이드는 문서 저자의 설계·추정치 기반 draft 상태입니다. 실제 프로덕션 배포 후 운영자 검증이 필요합니다.

연관 플랜: .omc/plans/phase3-track-c-review-checklist.md

검증 항목

• Langfuse misroute 탐지 SQL/OTel 쿼리 정확성
  • 문서에 기재된 쿼리가 Langfuse v3.x 실 데이터에서 의도한 결과를 반환하는지
  • classifier_result vs actual_model_used 매칭 로직 검증
• Canary 롤아웃 단계별 대기 시간·관찰 지표
  • 10% → 50% → 100% 전환 간 대기 시간이 운영 경험과 일치하는지
  • 단계별 관찰해야 할 핵심 지표(TTFT, misroute rate, cost drift) 목록 확인
• Spot reclaim 상황 Fallback 순서 실현 가능성
  • rate limit → lower tier → cache 순서가 kgateway + Bifrost 구성에서 실제 구현 가능한지
  • 순서 변경이 필요한 경우 근거와 함께 제안
• 안티패턴 섹션 실무 사례 보강
  • 운영자가 실제로 겪은 misroute/Fallback 실패 사례를 추가 가능한지

테스트 환경 요건

• Classifier v7 운영 중인 클러스터 (us-east-2 이후 재측정 필요)
• Langfuse v3.x 설치된 환경
• kgateway + Bifrost Cascade 구성

검증 완료 후 조치

1. 문서 상단 :::caution Verification pending 박스 제거
2. 수치·쿼리에 "검증: 2026-MM-DD / 환경: ..." 주석 추가
3. last_update.date 갱신
4. .omc/plans/phase3-track-c-review-checklist.md의 C1 항목 [x] 처리

연관 이슈

• Phase 3 트랙 C 추적: [Phase 3 트랙 C] 운영자 리뷰 및 2026-Q2 세션 대기 항목 추적 #4