Repositorio unico del curso de Big Data para construir pipelines batch y streaming con Spark y Kafka, gestionar datos en formatos analiticos como Parquet, aplicar observabilidad y desarrollar BI/ML distribuido. Integra laboratorios ejecutables, servicios Docker y documentacion publicada.
Consulta el detalle del contenido en pyspark/notebooks/index.md.
pyspark/notebooks/: cuadernos fuente para ejecutar localmente con Jupyter.pyspark/notebooks/index.md: portada fuente del sitio y diagramas Mermaid.pyspark/data/: datasets de practica.pyspark/artifacts/: salidas, checkpoints y modelos generados por Spark.pyspark/compose.yml: laboratorio Spark/Jupyter.pyspark/compose.kafka.yml: override para conectar Spark con la red Kafka.kafka/compose.yml: broker Kafka, Kafka UI y Kafka Exporter.kafka-debezium/compose.yml: stack Kafka alternativo con ZooKeeper, Kafka Connect y Debezium para CDC.obs/compose.yml: Prometheus y Grafana para observabilidad.uso-rapido/: caso de uso ligero en Python para producer/consumer Kafka.uso-ms-sb/: caso de uso con microservicios Spring Boot.uso-atmos/: caso de uso IoT reservado para mas adelante.uso-replica-cdc/: caso de uso futuro para migracion CDC MySQL a PostgreSQL RAW con Debezium y ETL BI/ML con Spark.docs/: version documental en Markdown publicada con MkDocs.
Levanta el entorno desde la raiz del repositorio:
docker compose -f pyspark/compose.yml up --buildLuego abre JupyterLab:
http://localhost:4488/lab?token=sintoken
Tambien puedes entrar a Jupyter Notebook:
http://localhost:4488/?token=sintoken
Spark UI queda disponible en:
http://localhost:4040
Antes de levantar Kafka, elige el stack segun recursos y necesidad de Debezium.
No es tanto una decision por caso de uso, porque kafka-debezium/ tambien sirve
para MS, MQ, Big Data, Spark y observabilidad/Telemetria IoT. La diferencia es
que agrega ZooKeeper, Kafka Connect y Debezium, por lo que consume mas recursos.
| Stack | Uso recomendado |
|---|---|
kafka/ |
Usa este stack si no trabajaras CDC/Debezium. Es el Kafka moderno y mas liviano. |
kafka-debezium/ |
Usa este stack si trabajaras CDC/Debezium. Tambien sirve para MS, MQ, Spark, observabilidad y Telemetria IoT. |
Ambos stacks usan los mismos puertos, el mismo alias interno kafka:9092 y la
misma red lambdalab-kafka-net. Tecnicamente podrian correr en paralelo si se
cambian puertos, nombres internos, alias y red Docker, pero para el curso se
recomienda ejecutar solo uno a la vez por equipos limitados y claridad operativa.
Para trabajar con streaming, primero levanta un stack Kafka desde la raiz del repositorio.
Kafka moderno:
docker compose -f kafka/compose.yml up -dKafka con Debezium:
docker compose -f kafka-debezium/compose.yml up -dEsto crea la red compartida:
lambdalab-kafka-net
Los stacks kafka/ y kafka-debezium/ usan los mismos puertos, el mismo alias
interno kafka:9092 y la misma red. Para cambiar de uno a otro, elimina primero
los contenedores del stack activo y luego levanta el otro. Las imagenes Docker
no se eliminan con estos comandos.
De Kafka moderno a Kafka Debezium:
docker compose -f kafka/compose.yml down
docker compose -f kafka-debezium/compose.yml up -dDe Kafka Debezium a Kafka moderno:
docker compose -f kafka-debezium/compose.yml down
docker compose -f kafka/compose.yml up -dSi quieres liberar espacio despues de usar CDC, puedes eliminar solo las imagenes legacy de Debezium. Primero baja el stack:
docker compose -f kafka-debezium/compose.yml downOpcionalmente, elimina las imagenes Debezium:
docker image rm debezium/zookeeper:2.7.3.Final
docker image rm debezium/kafka:2.7.3.Final
docker image rm debezium/connect:2.7.3.FinalNo elimines provectuslabs/kafka-ui:latest ni
danielqsj/kafka-exporter:v1.9.0, porque tambien se usan en el stack Kafka
moderno.
Luego Spark puede levantarse conectado a esa red:
docker compose -f pyspark/compose.yml -f pyspark/compose.kafka.yml up --buildPara observabilidad:
cd obs
docker compose up -d
cd ..Servicios disponibles:
- Kafka UI:
http://localhost:48085 - Prometheus:
http://localhost:49090 - Grafana:
http://localhost:43000
| Modulo | Servicio | Host | Contenedor |
|---|---|---|---|
pyspark |
Jupyter | 4488 | 8888 |
pyspark |
Spark UI | 4040 | 4040 |
kafka |
Kafka externo | 49092 | 49092 |
kafka |
Kafka Exporter | 49308 | 9308 |
kafka |
Kafka UI | 48085 | 8080 |
kafka-debezium |
Kafka Connect | 48083 | 8083 |
kafka-debezium |
ZooKeeper | 42181 | 2181 |
obs |
Prometheus | 49090 | 9090 |
obs |
Grafana | 43000 | 3000 |
obs |
Loki, comentado | 43100 | 3100 |
uso-ms-sb/ec-orden-ms |
PostgreSQL ordenes dev | 49020 | 5432 |
uso-ms-sb/ec-orden-ms |
API ordenes dev | 49021 | 49021 |
uso-ms-sb/ec-pago-ms |
PostgreSQL pagos dev | 49030 | 5432 |
uso-ms-sb/ec-pago-ms |
API pagos dev | 49031 | 49031 |
uso-rapido/ec-orden-py |
Python producer/consumer | - | - |
Los contenedores de los casos de uso tambien usan el prefijo lambdalab-* para
que puedan identificarse y eliminarse en bloque.
- Python rapido:
uso-rapido/ec-orden-py - Spring Boot:
uso-ms-sb/ec-orden-msyuso-ms-sb/ec-pago-ms - IoT:
uso-atmosqueda reservado para una practica posterior. - Migracion CDC MySQL a PostgreSQL RAW con Debezium:
uso-replica-cdcqueda reservado para una practica posterior con dos caminos: migracion sin detener el monolito y ETL BI/ML con Spark.
La carpeta docs/ se genera desde los notebooks. Los alumnos ejecutan los
.ipynb desde pyspark/notebooks/; GitHub Pages publica solo la version
documental exportada a Markdown durante el deploy.
Para regenerar la documentacion desde los notebooks:
python scripts/export_notebooks.pyEl workflow de GitHub Pages ejecuta ese script antes de compilar el sitio, asi
que el despliegue siempre publica la version Markdown derivada de los notebooks.
En la practica, la fuente que debes editar es pyspark/notebooks/.
Para probar el sitio localmente:
mkdocs servePara construirlo:
mkdocs build