Ragas 예제 버전 호환성 및 실행 전제

[Yiji-1015]

문서

https://devfloor9.github.io/engineering-playbook/en/docs/agentic-ai-platform/operations-mlops/governance/ragas-evaluation

배경

Ragas Evaluation 가이드의 예제를 직접 실행하면서 현재 설치 가능한 Ragas 버전과 예제 코드 간 호환성, 예제 실행에 필요한 사전 구성 여부를 확인했습니다.

현재 문서에서는 다음과 같이 Ragas 0.2 이상을 설치하도록 안내하고 있습니다.
pip install "ragas>=0.2" langchain-openai datasets

현재 이 명령으로 Ragas 0.4.x가 설치될 수 있지만, 예제에서는 legacy metric API를 사용하고 있어 설치되는 버전에 따라 실행 결과가 달라질 수 있을 것 같습니다.

확인 항목

• Ragas 기준 버전

  • 예제에서는 from ragas.metrics import faithfulness, answer_relevancy, ... 형태의 legacy API 사용
  • Ragas 0.4에서는 ragas.metrics.collections 기반 API 및 새로운 embedding API 사용
  • Ragas 0.4.3에서 기존 metric import 시 deprecation warning 발생
  • Basic Evaluation 실행 시 answer_relevancy가 NaN으로 반환되는 현상 확인
  • 현재 설치 명령에는 버전 상한이 없어 예제 작성 당시와 다른 API 버전이 설치될 수 있음
  • docs.ragas.io/en/stable/howtos/migrations/migrate_from_v03_to_v04/#before-v03 참고

• evaluator LLM / embedding 구성

  • Basic Evaluation에서는 evaluator LLM과 embedding을 별도로 지정하지 않고 evaluate() 실행
  • 따라서 설치된 Ragas 및 관련 패키지의 기본 설정과 호환성에 영향을 받을 수 있음
  • Ragas 버전에 따라 embedding 구성 방식이 달라 추가 설정이 필요한 경우가 있음

• RAG pipeline 사전 구성

  • Comprehensive Evaluation Pipeline에서 rag_chain을 별도 정의 없이 사용
  • 페이지 내에 rag_chain 생성 예제가 없어 그대로 실행할 경우 NameError: name 'rag_chain' is not defined 발생

제안

• 예제의 기준 Ragas 버전 명시
• 필요 시 설치 버전 범위에 상한 추가
• legacy API 기준 예제인지 현재 0.4 API 기준인지 안내
• evaluator LLM / embedding 사전 구성 여부 확인 문구 추가