Este projeto tem como objetivo aplicar os conceitos de engenharia de dados para extrair, tratar e visualizar informações do dataset Pokédex. A metodologia utilizada é a Arquitetura Medalhão, organizando o fluxo em três camadas: Bronze, Silver e Gold.
A ferramenta principal para a transformação dos dados será o PySpark, para simular um ambiente de Big Data e praticar as operações distribuídas.
- Linguagem: Python
- Banco de Dados: PostgreSQL
- Ambiente: Docker
- Bibliotecas Principais: Pandas, Jupyter
- Controle de Versão: Git e GitHub
|
|
|
|