Skip to content

About

Python que consume Kafka y produce mensajes con una librería cliente, en este caso `kafka-python`

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

ec-orden-py

Laboratorio simple en Python para aprender Kafka con pruebas rápidas de producer y consumer, usando la misma red Docker del proyecto ec-kafka en dev.

Objetivo

Este proyecto sirve para que el alumno compare dos formas de consumir Kafka:

  • Spark consume Kafka con su conector .format("kafka")
  • Python consume Kafka con una librería cliente, en este caso kafka-python

La idea es dejar una práctica ligera, con hot reload, para ejecutar scripts dentro de un contenedor sin reconstruir por cada cambio.

Estructura

ec-orden-py/
├── app/
│   ├── producer_ordenes.py
│   ├── consumer_ordenes.py
│   └── requirements.txt
├── Dockerfile
├── docker-compose-dev.yml
└── README.md

Requisitos

Antes de usar este proyecto debe estar levantado ec-kafka en dev, porque este contenedor se conecta a:

  • broker interno: ec-kafka:9092
  • red Docker: ec-kafka-dev-net

Levantar el contenedor base

Ubicarse en:

cd C:\261bigdata\ec-orden-py

Construir y levantar el contenedor:

docker compose -f docker-compose-dev.yml up

Verificar:

docker compose -f docker-compose-dev.yml ps

El compose no fija container_name. Docker Compose generara nombres automaticamente, evitando conflictos con contenedores antiguos.

Hot reload

El contenedor monta esta carpeta:

./app -> /app

Eso significa que puedes editar los archivos Python localmente y luego volver a ejecutarlos dentro del contenedor sin reconstruir la imagen.

Ejecutar el producer

Forma rápida:

docker compose -f docker-compose-dev.yml exec ec-orden-py python /app/producer_ordenes.py

Forma en 2 pasos:

docker compose -f docker-compose-dev.yml exec ec-orden-py sh

Luego, dentro del contenedor:

python /app/producer_ordenes.py

Este script envía eventos al tópico orden-eventos cada 2 segundos.

Ejemplo de mensaje:

{
  "tipoEvento": "orden.creada",
  "ordenId": 123,
  "total": 250.0,
  "estado": "PENDIENTE",
  "origen": "python",
  "timestamp": 1713350000000
}

Ejecutar el consumer

En otra terminal:

Forma rápida:

docker compose -f docker-compose-dev.yml exec ec-orden-py python /app/consumer_ordenes.py

Forma en 2 pasos:

docker compose -f docker-compose-dev.yml exec ec-orden-py sh

Luego, dentro del contenedor:

python /app/consumer_ordenes.py

Este script escucha el tópico orden-eventos y muestra los mensajes recibidos.

Qué aprende el alumno aquí

  • cómo se conecta un cliente Python a Kafka
  • diferencia entre broker interno Docker y acceso desde host
  • cómo funciona un producer simple
  • cómo funciona un consumer simple
  • cómo probar Kafka rápido sin depender todavía de Spring Boot o Spark

Comparación con la siguiente sesión

En la sesión siguiente, el trabajo se hará con bigdata-lab para:

  • Spark
  • notebooks
  • consumo desde Kafka con .format("kafka")

Aquí, en cambio, el objetivo es más básico y directo:

  • producer Python
  • consumer Python simple
  • pruebas rápidas
  • hot reload

Detener el laboratorio

docker compose -f docker-compose-dev.yml down

About

Python que consume Kafka y produce mensajes con una librería cliente, en este caso `kafka-python`

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages