Laboratorio simple en Python para aprender Kafka con pruebas rápidas de producer y consumer, usando la misma red Docker del proyecto ec-kafka en dev.
Este proyecto sirve para que el alumno compare dos formas de consumir Kafka:
- Spark consume Kafka con su conector
.format("kafka") - Python consume Kafka con una librería cliente, en este caso
kafka-python
La idea es dejar una práctica ligera, con hot reload, para ejecutar scripts dentro de un contenedor sin reconstruir por cada cambio.
ec-orden-py/
├── app/
│ ├── producer_ordenes.py
│ ├── consumer_ordenes.py
│ └── requirements.txt
├── Dockerfile
├── docker-compose-dev.yml
└── README.md
Antes de usar este proyecto debe estar levantado ec-kafka en dev, porque este contenedor se conecta a:
- broker interno:
ec-kafka:9092 - red Docker:
ec-kafka-dev-net
Ubicarse en:
cd C:\261bigdata\ec-orden-pyConstruir y levantar el contenedor:
docker compose -f docker-compose-dev.yml upVerificar:
docker compose -f docker-compose-dev.yml psEl compose no fija container_name. Docker Compose generara nombres automaticamente, evitando conflictos con contenedores antiguos.
El contenedor monta esta carpeta:
./app -> /app
Eso significa que puedes editar los archivos Python localmente y luego volver a ejecutarlos dentro del contenedor sin reconstruir la imagen.
Forma rápida:
docker compose -f docker-compose-dev.yml exec ec-orden-py python /app/producer_ordenes.pyForma en 2 pasos:
docker compose -f docker-compose-dev.yml exec ec-orden-py shLuego, dentro del contenedor:
python /app/producer_ordenes.pyEste script envía eventos al tópico orden-eventos cada 2 segundos.
Ejemplo de mensaje:
{
"tipoEvento": "orden.creada",
"ordenId": 123,
"total": 250.0,
"estado": "PENDIENTE",
"origen": "python",
"timestamp": 1713350000000
}En otra terminal:
Forma rápida:
docker compose -f docker-compose-dev.yml exec ec-orden-py python /app/consumer_ordenes.pyForma en 2 pasos:
docker compose -f docker-compose-dev.yml exec ec-orden-py shLuego, dentro del contenedor:
python /app/consumer_ordenes.pyEste script escucha el tópico orden-eventos y muestra los mensajes recibidos.
- cómo se conecta un cliente Python a Kafka
- diferencia entre broker interno Docker y acceso desde host
- cómo funciona un producer simple
- cómo funciona un consumer simple
- cómo probar Kafka rápido sin depender todavía de Spring Boot o Spark
En la sesión siguiente, el trabajo se hará con bigdata-lab para:
- Spark
- notebooks
- consumo desde Kafka con
.format("kafka")
Aquí, en cambio, el objetivo es más básico y directo:
- producer Python
- consumer Python simple
- pruebas rápidas
- hot reload
docker compose -f docker-compose-dev.yml down