Skip to content

leonardodebs/Observability-Platform-with-AIOps

Repository files navigation

ObserveIQ - Plataforma de Observabilidade Inteligente

Arquitetura ObserveIQ

Visão Geral

ObserveIQ é uma plataforma de observabilidade de nível de produção que coleta métricas, processa logs, detecta anomalias usando IA e envia alertas inteligentes. Construída com uma arquitetura cloud-native para deployment em AWS ECS/Kubernetes.

Funcionalidades

  • Coleta de Métricas: Agente Python coletando CPU, memória, disco, rede I/O a cada 30s
  • Pipeline de Ingestão de Logs: Endpoint HTTP compatível com Fluent Bit, processamento via Redis Streams
  • Análise com IA: AWS Bedrock (Claude Haiku) para análise de logs e detecção de anomalias
  • Alertas Inteligentes: Alertas baseados em regras com notificações Slack, Email, PagerDuty
  • Dashboard em Tempo Real: Dashboard alimentado por WebSocket com métricas, logs e insights de IA

Arquitetura

┌─────────────────┐     ┌──────────────┐     ┌─────────────────┐
│  Metrics Agent  │────▶│   FastAPI    │────▶│   PostgreSQL   │
└─────────────────┘     │    API       │     └─────────────────┘
                         └──────┬───────┘            ▲
                              │                    │
┌─────────────────┐     ┌──────▼───────┐     ┌────┴────────┐
│  Fluent Bit     │────▶│Redis Streams │────▶│   InfluxDB   │
│  Log Shipper    │     └──────────────┘     └─────────────┘
└─────────────────┘            │
                              ▼
                       ┌──────────────┐
                       │ AWS Bedrock   │
                       │(Claude Haiku)│
                       └──────────────┘

Início Rápido

Desenvolvimento Local

# Iniciar stack local
make dev

# Executar testes
make test

Deployment AWS

# Fazer deploy na AWS
make deploy-aws

# Destruir recursos AWS
make destroy-aws

Stack Tecnológica

Componente Tecnologia
Agente de Métricas Python 3.11+
API Backend FastAPI
Fila de Mensagens Redis Streams
Banco de Dados PostgreSQL + InfluxDB
Análise de IA AWS Bedrock (Claude Haiku)
Frontend React + Tailwind + Recharts
Infraestrutura Terraform (AWS)
Container Docker + Docker Compose

Configuração

Agente (config.yaml)

targets:
  - name: production-api
    endpoint: http://localhost:8000
    labels:
      env: production
      service: api
interval: 30

Regras de Alerta (alerts.yaml)

rules:
  - name: high-cpu
    metric: cpu_usage
    threshold: 80
    duration: 300
    severity: warning

Variáveis de Ambiente

Variável Descrição
DATABASE_URL String de conexão PostgreSQL
REDIS_URL String de conexão Redis
INFLUX_URL String de conexão InfluxDB
AWS_REGION Região AWS para Bedrock
BEDROCK_MODEL_ID ID do modelo Bedrock
SLACK_WEBHOOK_URL Webhook Slack para alertas
SMTP_HOST Servidor SMTP para alertas por email

Endpoints da API

Endpoint Método Descrição
/api/v1/metrics POST Enviar métricas
/api/v1/logs POST Ingerir logs
/api/v1/alerts GET Listar alertas
/api/v1/alerts POST Criar regra de alerta
/api/v1/insights GET Resultados da análise de IA
/ws/metrics WS Stream de métricas em tempo real

Licença

Licença MIT - Veja o arquivo LICENSE para detalhes.


Habilidades Demonstradas:

  • Arquitetura Cloud (AWS ECS, Terraform, Kubernetes)
  • Desenvolvimento de API (FastAPI, WebSocket)
  • Desenvolvimento Frontend (React, Tailwind, Recharts)
  • Infraestrutura como Código (Terraform, Helm)
  • CI/CD (GitHub Actions, ECR, Deploy Blue/Green)
  • Integração de IA/ML (AWS Bedrock, Claude)
  • Observabilidade (Métricas, Logs, Rastreamento, Alertas)
  • Testes (pytest, k6, mocks)
  • DevOps (Docker, Docker Compose)

About

ObserveIQ é uma plataforma de observabilidade de nível de produção que coleta métricas, processa logs, detecta anomalias usando IA e envia alertas inteligentes.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors