Repositorio de laboratorio para trabajar con notebooks, PySpark, datos de ejemplo y prácticas de procesamiento Big Data.
Su papel es servir como entorno de trabajo para ejercicios de fundamentos, ETL y streaming, tanto de forma independiente como integrado con Kafka cuando la práctica lo requiera.
artifacts/: archivos generados por procesos o ejecucionesdata/: datos de ejemplo para prácticas y ejerciciosdocker/: archivos para levantar el entorno con Dockernotebooks/: notebooks y scripts Python para prácticas y experimentos
- Docker
- Python local es opcional
- Apache Spark local es opcional si no usas Docker, porque el contenedor ya incluye
pyspark
Ubícate en:
cd C:\261bigdata\bigdata-lab\dockerLevanta el laboratorio base:
docker compose up --buildLuego accede a:
- Jupyter:
http://localhost:8888 - Spark UI:
http://localhost:4040
Desde la carpeta docker/, ejecuta:
docker compose up --buildEsto monta en el contenedor:
- notebooks en
/opt/notebooks - datos en
/opt/data - artefactos en
/opt/artifacts
Y expone los puertos:
8888: Jupyter4040: Spark UI
Usa:
docker compose up --buildEste modo sirve para:
- notebooks de fundamentos
- ETL con Spark
- ejercicios con archivos locales
- pruebas sin depender de Kafka
Si quieres conectar bigdata-lab al Kafka de dev, primero asegúrate de que exista la red externa ec-kafka-dev-net y luego ejecuta:
docker compose -f docker-compose.yml -f docker-compose.kafka.yml up --buildEste modo sirve para:
- consumir eventos Kafka desde Spark
- probar flujos de streaming
- trabajar con el broker interno:
ec-kafka:9092
En notebooks/ encontrarás, entre otros:
01_arquitecturas_big_data.ipynb02_fundamentos_practica.ipynb03_etl_spark.ipynb04_hdfs_formatos.ipynb07_spark_streaming_consumer_ordenes.ipynb08_observabilidad_pipeline_kafka_spark.ipynb08_3_ml_temp_latency.ipynb09_ml_distribuido_regresion_mllib.ipynb10_series_tiempo_inferencia_spark.ipynb
En la carpeta docker/ se usan estos archivos:
docker-compose.yml: compose base para levantarbigdata-labde forma independientedocker-compose.kafka.yml: override opcional para conectarbigdata-labal Kafka dedevDockerfile: imagen base del contenedor
Material de apoyo para cursos y talleres de Big Data.
Para dudas o sugerencias, abre un issue o contacta al responsable del curso o con Angel Sullon