Apache Kafka для разработки и архитектуры [Яндекс Практикум]

[Sky90]

**Apache Kafka для разработки и архитектуры [Яндекс Практикум]**

Навыки работы с Apache Kafka необходимы всем, кто стремится повлиять на масштабируемость и надежность систем.

*Для бэкенд-разработчиков:*
- Создание масштабируемых, отказоустойчивых и гибких систем обработки данных в реальном времени.

*Для архитекторов:*
- Создание распределенных систем с высокой интеграцией и обеспечение консистентности данных.

*Для DevOps-инженеров:*
- Овладение инструментами автоматизации развертывания, настройки и мониторинга кластеров для упрощения управления инфраструктурой.

*Для инженеров данных:*
- Построение конвейеров данных для передачи из различных источников в системы хранения и обработки.

**Требования:**
- Знание Java, Python или Golang.
- Понимание работы с базами данных SQL и NoSQL.
- Основные знания о распределенных системах.
- Навыки работы с Linux.

**После 3 месяцев обучения вы сможете:**
- Настраивать Apache Kafka и оптимизировать производительность.
- Работать с производителями и потребителями сообщений.
- Обеспечивать надежность и отказоустойчивость систем.
- Интегрировать Kafka с внешними системами.
- Проектировать и реализовывать поточные пайплайны данных.
- Настраивать мониторинг и управление кластерами Kafka.

**Технологии:**
- Apache Kafka, Kafka Connect, Kafka Streams.
- Интеграция с Apache Spark, Apache Flink, Apache Hadoop, базами данных, Kafka MirrorMaker, Kafka REST Proxy, Schema Registry.

**Программа:**
1. Введение в Apache Kafka: концепции, архитектура, установка.
2. Продюсеры и консьюмеры: создание и конфигурация.
3. Топики и партиции: создание, роль партиций, репликация данных.
4. Развёртывание базового кластера Kafka: установка, работа с сообщениями.
5. Kafka Streams: приложения потоковой обработки данных.
6. Kafka Connect: интеграция с внешними системами.
7. Безопасность в Kafka: аутентификация, авторизация, шифрование.
8. Разработка поточного пайплайна данных.
9. Администрирование Kafka: мониторинг, управление, оптимизация.
10. Kafka в продакт среде: развёртывание, масштабирование, резервное копирование.
11. Интеграция Kafka с экосистемой Big Data.
12. Финальный проект.

**Старт:** 3 июля 2024
**Цена:** 86000 руб.

Для просмотра скрытого содержимого вы должны зарегистрироваться