🚀 Инженер с фокусом на современных технологиях больших данных
⚡ Увлекаюсь автоматизацией и оптимизацией процессов
🌟 Открыт к новым возможностям и сотрудничеству
🔥 Основные технологии (нажми, чтобы развернуть)
| Название проекта | Описание проекта | Стек |
|---|---|---|
| Marketplace Data Pipeline | Комплексное решение для построения аналитической витрины по товарам маркетплейса. Полностью автоматизированная ETL/ELT система, объединяющая современные технологии обработки, интеграции и хранения больших данных для построения бизнес-аналитики и отчетности. — Построение end-to-end пайплайна — Интеграция данных из S3 и их обработка с помощью Spark на Kubernetes — Оркестрация всего процесса Airflow — Загрузка и анализ в Greenplum с помощью PXF — Оформлены аналитические представления для мониторинга продаж и работы продавцов |
• Data Lake: VK Cloud Object Storage (S3) • Обработка данных: Apache Spark (на Kubernetes) • Оркестрация: Apache Airflow • Хранилище: Greenplum • Интеграция: PXF (Greenplum ⇄ S3) • Code: Git (GitLab) |
| PySpark Data Cleaner | Универсальный инструмент для чистки и препроцессинга больших датасетов на Spark. Реализует гибкие алгоритмы поиска аномалий и пропущенных значений, стандартизации и нормализации данных для подготовки массивов к анализу или ML. — Масштабируемая обработка с помощью PySpark — Проведение анализов качества данных — Поддержка хранения на S3 и интеграция с Jupyter |
• Обработка данных: Apache Spark, PySpark • Язык программирования: Python • Интерактивная разработка: Jupyter Notebook • Хранилище данных: VK Cloud Object Storage (S3) • Code: Git |
| K8s Single Node Infrastructure VLESS | Инфраструктурное решение для быстрого деплоя и управления сервисами через Kubernetes с поддержкой VPN-прокси (VLESS). Реализует защищённый односерверный кластер с автоматическим SSL, продвинутым мониторингом и гибкой сетью. — Автоматизация поднятия кластера через kubeadm — Настройка XRay/VLESS, nginx, Docker — Мониторинг и оповещения через Prometheus + Grafana — Безопасность за счёт TLS и iptables |
• Контейнеризация: Docker, containerd • Оркестрация: Kubernetes (kubeadm) • VPN/Proxy: XRay, vless, nginx • Monitoring: Prometheus, Grafana, kube-state-metrics • CI/Automation: bash, systemd, Helm • Security: iptables, SSH-only, TLS termination |
| ClickHouse Flight Mart | Аналитическая витрина перелётов на основе ClickHouse. Проект по созданию оптимизированной аналитической модели для авиаданных с интеграцией из PostgreSQL и JSON. Включает ETL, агрегации, материализованные представления и глубокую оптимизацию хранения и производительности. — Репликация данных из PostgreSQL — Загрузка и парсинг JSON — Построение финальной витрины с погодными данными (ASOF JOIN) — Оптимизация размера и скорости запросов: партиционирование, кодеки, Enum, LowCardinality |
• OLAP: ClickHouse • Источники: PostgreSQL, JSON • ETL: SQL, материализованные представления • Оптимизация: Delta + ZSTD, FixedString, Enum8, LowCardinality • Code: Git |
