Stack de Apache Kafka para los ambientes dev y prod.
Este modulo solo contiene infraestructura Kafka:
kafka: broker Kafka con imagenapache/kafka:4.2.0kafka-exporter: metricas de Kafka para Prometheuskafka-ui: interfaz web de administracion
Prometheus y Grafana viven en observability, no en este modulo.
docker-compose-dev.yml: Kafka para desarrollodocker-compose.yml: Kafka para produccion
| Servicio | DEV | PROD | Interno |
|---|---|---|---|
| Kafka | 41092 | 29092 | 9092 |
| Kafka exporter | 41308 | 29308 | 9308 |
| Kafka UI | 41085 | 28085 | 8080 |
En dev, Kafka crea y usa su propia red:
kafka-ms-dev-net
Otros contenedores dev que necesiten hablar con Kafka deben unirse a esa red y usar:
kafka:9092
En prod, infra crea la red compartida:
ms-net
El broker kafka y kafka-exporter se conectan a ms-net. Los microservicios prod usan:
kafka:9092
Kafka UI queda en la red interna kafka-prod-net.
cd C:\ms1\ProyectosMS2026\kafka
docker compose -f docker-compose-dev.yml up -d
docker compose -f docker-compose-dev.yml psAccesos:
- Kafka desde host:
localhost:41092 - Kafka entre contenedores:
kafka:9092 - Kafka UI:
http://localhost:41085 - Exporter:
http://localhost:41308/metrics
Primero debe existir ms-net, creada por infra:
cd C:\ms1\ProyectosMS2026\infra
docker compose up -dLuego Kafka:
cd C:\ms1\ProyectosMS2026\kafka
docker compose up -d
docker compose psAccesos:
- Kafka desde host:
localhost:29092 - Kafka entre contenedores:
kafka:9092 - Kafka UI:
http://localhost:28085 - Exporter:
http://localhost:29308/metrics
Entrar al broker:
# dev
docker compose -f docker-compose-dev.yml exec kafka bash
# prod
docker compose exec kafka bashCrear topic:
/opt/kafka/bin/kafka-topics.sh --create \
--topic orden-eventos \
--bootstrap-server kafka:9092 \
--partitions 1 \
--replication-factor 1Listar topics:
/opt/kafka/bin/kafka-topics.sh --list \
--bootstrap-server kafka:9092Producer manual:
/opt/kafka/bin/kafka-console-producer.sh \
--topic orden-eventos \
--bootstrap-server kafka:9092Consumer manual:
/opt/kafka/bin/kafka-console-consumer.sh \
--topic orden-eventos \
--bootstrap-server kafka:9092 \
--from-beginningLas metricas salen de kafka-exporter.
- En dev, Prometheus de
observabilityscrapeahost.docker.internal:41308 - En prod, Prometheus de
observabilityscrapeakafka-exporter:9308porms-net
# dev
docker compose -f docker-compose-dev.yml down
# prod
docker compose down- Stack Kafka dev con Apache Kafka
- Stack Kafka prod con Apache Kafka
- Kafka UI en dev/prod
- Kafka Exporter para Prometheus
- Red dev dedicada
kafka-ms-dev-net - Red prod compartida
ms-net - Puertos dev separados de BigData y BI/Debezium
- Topics de practica
orden-eventosypago-eventos - Hardening de seguridad Kafka
- Retencion y particiones avanzadas por ambiente
git tag -a vs09-kafka -m "eda con vs09-kafka"
git push origin vs09-kafka