Skip to content

docs: add video explanations comparing RAGAS vs DeepEval - #2

Merged
RegiMaria merged 3 commits into
mainfrom
develop
Mar 30, 2026
Merged

RegiMaria merged 3 commits into
mainfrom
develop

Conversation

@RegiMaria

Copy link
Copy Markdown
Owner

Overview

This PR adds documentation improvements and video demonstrations comparing RAG evaluation frameworks.
Este PR adiciona melhorias na documentação e vídeos demonstrando a comparação entre frameworks de avaliação de RAG.

The goal is to make the project more explainable, visual, and accessible for learning and analysis.
O objetivo é tornar o projeto mais explicável, visual e acessível para aprendizado e análise.

What was added

Added two video demos to the README explaining the differences between RAGAS and DeepEval.
Adicionados dois vídeos no README explicando as diferenças entre RAGAS e DeepEval.

Videos cover:
Os vídeos abordam:

  • Comparison of evaluation metrics using the same dataset

  • Comparação das métricas usando o mesmo dataset

  • Differences between numeric scoring (RAGAS) and reasoning-based evaluation (DeepEval)

  • Diferença entre score numérico (RAGAS) e avaliação com reasoning (DeepEval)

  • Use of GEval for domain-specific evaluation

  • Uso do GEval para avaliação específica de domínio

  • Confident AI dashboard for experiment tracking and visualization

  • Dashboard do Confident AI para rastreabilidade e visualização de experimentos

Key Insight

RAGAS provides numeric scores but lacks explainability for debugging.
O RAGAS fornece scores numéricos, mas não oferece explicabilidade para debug.

DeepEval provides reasoning for each metric, enabling better identification of issues.
O DeepEval fornece reasoning para cada métrica, permitindo melhor identificação de problemas.

This includes identifying retrieval issues such as incorrect chunk ranking.
Isso inclui identificar problemas de recuperação, como ranking incorreto de chunks.

Impact

Improves project documentation and makes evaluation results easier to understand.
Melhora a documentação do projeto e torna os resultados mais fáceis de entender.

Adds visual learning resources for users and recruiters.
Adiciona recursos visuais de aprendizado para usuários e recrutadores.

Strengthens the project as a portfolio demonstrating real-world RAG evaluation practices.
Fortalece o projeto como portfólio demonstrando práticas reais de avaliação de RAG.

⚠️ Notes

No changes to core pipeline or evaluation logic.
Nenhuma alteração no pipeline ou lógica de avaliação.

Changes are limited to documentation (README).
As mudanças são limitadas à documentação (README).

How to review

Open the README and watch the embedded videos.
Abra o README e assista aos vídeos adicionados.

Evaluate clarity of explanations and documentation improvements.
Avalie a clareza das explicações e melhorias na documentação.

@RegiMaria
RegiMaria merged commit 0366a01 into main Mar 30, 2026
0 of 2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant