Entorno de Apache Kafka preparado para trabajar en dev y prod con Docker Compose.
Puede ser usado para el desarrollo de microservicios bajo una arquitectura orientada a eventos (Event-Driven Architecture, EDA) como un e-commerce (ec)
ec-kafka: broker Kafka con imagenapache/kafka:4.2.0ec-kafka-ui: interfaz web con imagenprovectuslabs/kafka-uiec-kafka-exporter: exporter de metricas para Kafkaec-prometheus: recoleccion de metricasec-grafana: visualizacion de metricas
La configuracion usa modo KRaft, por lo que no necesita ZooKeeper.
docker-compose-dev.yml: stack de desarrollodocker-compose.yml: stack de produccion
Este repositorio cumple el rol de stack operativo de Kafka para el ecosistema e-commerce. Aqui se levanta la infraestructura base de mensajeria y observabilidad que luego consumen otros proyectos o laboratorios.
Cada ambiente usa su propia red Docker:
dev:ec-kafka-dev-netprod:ec-kafka-prod-net
Si otro contenedor necesita conectarse a Kafka dentro de Docker, primero debe unirse a la red del ambiente correspondiente.
Una vez conectado a esa red, puede usar este host interno:
ec-kafka:9092
Ubicarse en:
cd C:\261bigdata\ec-kafkaLevantar el entorno:
docker compose -f docker-compose-dev.yml up Si usas docker compose -f docker-compose-dev.yml up sin -d, la consola quedara mostrando logs en tiempo real y eso es normal.
Validar contenedores:
docker compose -f docker-compose-dev.yml psSi ec-kafka-exporter tarda unos segundos en estabilizar, ahora debe reintentarlo automaticamente.
Accesos en dev:
- Kafka desde el host:
localhost:49092 - Kafka entre contenedores:
ec-kafka:9092 - Kafka UI:
http://localhost:48085 - Prometheus:
http://localhost:49090 - Grafana:
http://localhost:43000 - Red Docker:
ec-kafka-dev-net - Servicios Compose:
ec-kafka,ec-kafka-ui,ec-kafka-exporter,ec-prometheus,ec-grafana
El compose no fija container_name. Docker Compose generara nombres automaticamente, evitando conflictos con contenedores antiguos que tengan el mismo nombre.
Entrar al broker:
Este comando debe ejecutarse desde
PS C:\261bigdata\ec-kafka>porque usa el archivodocker-compose-dev.ymlde esta carpeta.
docker compose -f docker-compose-dev.yml exec ec-kafka bashSi estas en otra ruta, primero entra a la carpeta del proyecto:
cd C:\261bigdata\ec-kafkaAlternativa desde cualquier ruta: usar docker exec -it <nombre-real-del-contenedor> bash, tomando el nombre desde docker ps.
Detener dev:
docker compose -f docker-compose-dev.yml downUbicarse en:
cd C:\261bigdata\ec-kafkaLevantar el entorno:
docker compose up -dSi usas docker compose up sin -d, la consola quedara mostrando logs en tiempo real y eso es normal.
Validar contenedores:
docker compose psAccesos en prod:
- Kafka desde el host:
localhost:59092 - Kafka entre contenedores:
ec-kafka:9092 - Kafka UI:
http://localhost:58085 - Prometheus:
http://localhost:59090 - Grafana:
http://localhost:53000 - Red Docker:
ec-kafka-prod-net - Servicios Compose:
ec-kafka,ec-kafka-ui,ec-kafka-exporter,ec-prometheus,ec-grafana
Entrar al broker:
docker compose exec ec-kafka bashDetener prod:
docker compose downEntrar al contenedor del broker segun el ambiente:
# dev
docker compose -f docker-compose-dev.yml exec ec-kafka bash
# prod
docker compose exec ec-kafka bashLos scripts de Kafka estan en:
/opt/kafka/bin/opt/kafka/bin/kafka-topics.sh --create \
--topic orden-eventos \
--bootstrap-server ec-kafka:9092 \
--partitions 1 \
--replication-factor 1Debe aparecer:
Created topic orden-eventos.
/opt/kafka/bin/kafka-topics.sh --list \
--bootstrap-server ec-kafka:9092Debe aparecer orden-eventos.
/opt/kafka/bin/kafka-console-producer.sh \
--topic orden-eventos \
--bootstrap-server ec-kafka:9092Debe aparecer:
>
Puedes escribir por ejemplo:
hola
Abrir otra terminal y volver a entrar al contenedor:
# dev
docker compose -f docker-compose-dev.yml exec ec-kafka bash
# prod
docker compose exec ec-kafka bashConsumir desde el inicio:
/opt/kafka/bin/kafka-console-consumer.sh \
--topic orden-eventos \
--bootstrap-server ec-kafka:9092 \
--from-beginningDebe aparecer el mensaje enviado:
hola
En dev:
http://localhost:49090
En prod:
http://localhost:59090
En dev:
http://localhost:43000
En prod:
http://localhost:53000
Credenciales por defecto:
usuario: admin
password: admin
Logs de Prometheus en dev:
docker compose -f docker-compose-dev.yml logs -f ec-prometheusLogs de Grafana en dev:
docker compose -f docker-compose-dev.yml logs -f ec-grafanaLogs del exporter en dev:
docker compose -f docker-compose-dev.yml logs -f ec-kafka-exporterLogs de Prometheus en prod:
docker compose logs -f ec-prometheusLogs de Grafana en prod:
docker compose logs -f ec-grafanaLogs del exporter en prod:
docker compose logs -f ec-kafka-exporterEn dev:
docker compose -f docker-compose-dev.yml restart ec-prometheus
docker compose -f docker-compose-dev.yml restart ec-grafana
docker compose -f docker-compose-dev.yml restart ec-kafka-exporterEn prod:
docker compose restart ec-prometheus
docker compose restart ec-grafana
docker compose restart ec-kafka-exporterEn dev:
http://localhost:49308/metrics
En prod:
http://localhost:59308/metrics
9092es el puerto interno del broker dentro de Docker.49092es el puerto externo dedev.59092es el puerto externo deprod.- Grafana usa por defecto
admin/admin. - Prometheus obtiene metricas del broker a traves de
ec-kafka-exporter. - La configuracion actual usa un solo broker y
replication-factorde1.
- docker-compose-dev.yml
- docker-compose.yml