Skip to content
261bigdataPublic

About

Entorno de Apache Kafka preparado para trabajar en `dev` y `prod` con Docker Compose. Puede ser usado para el desarrollo de microservicios bajo una arquitectura orientada a eventos (Event-Driven Architecture, EDA) como un e-commerce (ec)

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

ec-kafka

Entorno de Apache Kafka preparado para trabajar en dev y prod con Docker Compose. Puede ser usado para el desarrollo de microservicios bajo una arquitectura orientada a eventos (Event-Driven Architecture, EDA) como un e-commerce (ec)

Componentes

  • ec-kafka: broker Kafka con imagen apache/kafka:4.2.0
  • ec-kafka-ui: interfaz web con imagen provectuslabs/kafka-ui
  • ec-kafka-exporter: exporter de metricas para Kafka
  • ec-prometheus: recoleccion de metricas
  • ec-grafana: visualizacion de metricas

La configuracion usa modo KRaft, por lo que no necesita ZooKeeper.

Archivos principales

  • docker-compose-dev.yml: stack de desarrollo
  • docker-compose.yml: stack de produccion

Alcance del repo

Este repositorio cumple el rol de stack operativo de Kafka para el ecosistema e-commerce. Aqui se levanta la infraestructura base de mensajeria y observabilidad que luego consumen otros proyectos o laboratorios.

Red Docker

Cada ambiente usa su propia red Docker:

  • dev: ec-kafka-dev-net
  • prod: ec-kafka-prod-net

Si otro contenedor necesita conectarse a Kafka dentro de Docker, primero debe unirse a la red del ambiente correspondiente.

Una vez conectado a esa red, puede usar este host interno:

ec-kafka:9092

Desarrollo

Levantar Kafka en dev

Ubicarse en:

cd C:\261bigdata\ec-kafka

Levantar el entorno:

docker compose -f docker-compose-dev.yml up 

Si usas docker compose -f docker-compose-dev.yml up sin -d, la consola quedara mostrando logs en tiempo real y eso es normal.

Validar contenedores:

docker compose -f docker-compose-dev.yml ps

Si ec-kafka-exporter tarda unos segundos en estabilizar, ahora debe reintentarlo automaticamente.

Accesos en dev:

  • Kafka desde el host: localhost:49092
  • Kafka entre contenedores: ec-kafka:9092
  • Kafka UI: http://localhost:48085
  • Prometheus: http://localhost:49090
  • Grafana: http://localhost:43000
  • Red Docker: ec-kafka-dev-net
  • Servicios Compose: ec-kafka, ec-kafka-ui, ec-kafka-exporter, ec-prometheus, ec-grafana

El compose no fija container_name. Docker Compose generara nombres automaticamente, evitando conflictos con contenedores antiguos que tengan el mismo nombre.

Entrar al broker:

Este comando debe ejecutarse desde PS C:\261bigdata\ec-kafka> porque usa el archivo docker-compose-dev.yml de esta carpeta.

docker compose -f docker-compose-dev.yml exec ec-kafka bash

Si estas en otra ruta, primero entra a la carpeta del proyecto:

cd C:\261bigdata\ec-kafka

Alternativa desde cualquier ruta: usar docker exec -it <nombre-real-del-contenedor> bash, tomando el nombre desde docker ps.

Detener dev:

docker compose -f docker-compose-dev.yml down

Produccion

Levantar Kafka en prod

Ubicarse en:

cd C:\261bigdata\ec-kafka

Levantar el entorno:

docker compose up -d

Si usas docker compose up sin -d, la consola quedara mostrando logs en tiempo real y eso es normal.

Validar contenedores:

docker compose ps

Accesos en prod:

  • Kafka desde el host: localhost:59092
  • Kafka entre contenedores: ec-kafka:9092
  • Kafka UI: http://localhost:58085
  • Prometheus: http://localhost:59090
  • Grafana: http://localhost:53000
  • Red Docker: ec-kafka-prod-net
  • Servicios Compose: ec-kafka, ec-kafka-ui, ec-kafka-exporter, ec-prometheus, ec-grafana

Entrar al broker:

docker compose exec ec-kafka bash

Detener prod:

docker compose down

Operacion basica en Kafka

Entrar al contenedor del broker segun el ambiente:

# dev
docker compose -f docker-compose-dev.yml exec ec-kafka bash

# prod
docker compose exec ec-kafka bash

Los scripts de Kafka estan en:

/opt/kafka/bin

Crear el topico orden-eventos

/opt/kafka/bin/kafka-topics.sh --create \
  --topic orden-eventos \
  --bootstrap-server ec-kafka:9092 \
  --partitions 1 \
  --replication-factor 1

Debe aparecer:

Created topic orden-eventos.

Listar topicos

/opt/kafka/bin/kafka-topics.sh --list \
  --bootstrap-server ec-kafka:9092

Debe aparecer orden-eventos.

Probar productor manual

/opt/kafka/bin/kafka-console-producer.sh \
  --topic orden-eventos \
  --bootstrap-server ec-kafka:9092

Debe aparecer:

>

Puedes escribir por ejemplo:

hola

Probar consumidor manual

Abrir otra terminal y volver a entrar al contenedor:

# dev
docker compose -f docker-compose-dev.yml exec ec-kafka bash

# prod
docker compose exec ec-kafka bash

Consumir desde el inicio:

/opt/kafka/bin/kafka-console-consumer.sh \
  --topic orden-eventos \
  --bootstrap-server ec-kafka:9092 \
  --from-beginning

Debe aparecer el mensaje enviado:

hola

Operacion de observabilidad

Acceder a Prometheus

En dev:

http://localhost:49090

En prod:

http://localhost:59090

Acceder a Grafana

En dev:

http://localhost:43000

En prod:

http://localhost:53000

Credenciales por defecto:

usuario: admin
password: admin

Ver logs

Logs de Prometheus en dev:

docker compose -f docker-compose-dev.yml logs -f ec-prometheus

Logs de Grafana en dev:

docker compose -f docker-compose-dev.yml logs -f ec-grafana

Logs del exporter en dev:

docker compose -f docker-compose-dev.yml logs -f ec-kafka-exporter

Logs de Prometheus en prod:

docker compose logs -f ec-prometheus

Logs de Grafana en prod:

docker compose logs -f ec-grafana

Logs del exporter en prod:

docker compose logs -f ec-kafka-exporter

Reiniciar solo un servicio

En dev:

docker compose -f docker-compose-dev.yml restart ec-prometheus
docker compose -f docker-compose-dev.yml restart ec-grafana
docker compose -f docker-compose-dev.yml restart ec-kafka-exporter

En prod:

docker compose restart ec-prometheus
docker compose restart ec-grafana
docker compose restart ec-kafka-exporter

Verificar metricas del exporter

En dev:

http://localhost:49308/metrics

En prod:

http://localhost:59308/metrics

Notas

  • 9092 es el puerto interno del broker dentro de Docker.
  • 49092 es el puerto externo de dev.
  • 59092 es el puerto externo de prod.
  • Grafana usa por defecto admin / admin.
  • Prometheus obtiene metricas del broker a traves de ec-kafka-exporter.
  • La configuracion actual usa un solo broker y replication-factor de 1.

Archivos relacionados

  • docker-compose-dev.yml
  • docker-compose.yml

About

Entorno de Apache Kafka preparado para trabajar en `dev` y `prod` con Docker Compose. Puede ser usado para el desarrollo de microservicios bajo una arquitectura orientada a eventos (Event-Driven Architecture, EDA) como un e-commerce (ec)

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors