- Регистрация
- 1 Дек 2015
- Сообщения
- 145.958
- Реакции
- 777.031
Apache Kafka для разработки и архитектуры [Яндекс Практикум]
Навыки работы с Apache Kafka нужны всем, кто хочет влиять на масштабируемость и надежность систем:
Бэкенд-разработчикам:
- Создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени;
Архитекторам:
- Создавать распределённые системы с высокой интеграцией и обеспечивать консистентность данных;
DevOps-инженерам:
- Освоить инструменты для автоматизации развёртывания, настройки и мониторинга кластеров;
Инженерам данных:
- Строить конвейеры данных для передачи из различных источников в системы хранения и обработки.
Курс подходит, если вы:
- Знаете один из языков: Java, Python или Golang;
- Понимаете принципы работы с базами данных SQL и NoSQL;
- Обладаете базовыми знаниями об архитектуре распределённых систем;
- Умеете работать с Linux.
Через 3 месяца вы научитесь:
- Настраивать Apache Kafka и оптимизировать производительность;
- Работать с производителями и потребителями сообщений;
- Обеспечивать надежность и отказоустойчивость систем;
- Интегрировать Kafka с внешними системами;
- Проектировать и реализовывать потоковые пайплайны данных;
- Настраивать мониторинг кластеров Kafka и управлять им.
Технологии, которые можно применять:
- Apache Kafka, Kafka Connect, Kafka Streams;
- Интеграция Kafka с Apache Spark, Apache Flink, Apache Hadoop;
- Интеграция Kafka с базами данных, Kafka MirrorMaker, Kafka REST Proxy, Schema Registry.
Программа:
1) Введение в Apache Kafka:
- Основные концепции и терминология;
- Архитектура Kafka;
- Установка и настройка Kafka-кластера.
2) Продюсеры и консьюмеры:
- Создание и конфигурация продюсеров;
- Создание и конфигурация консьюмеров;
- Сериализация и десериализация данных.
3) Топики и партиции:
- Создание и конфигурация топиков;
- Понимание роли партиций в масштабировании;
- Репликация данных для отказоустойчивости.
4) Развертывание базового кластера Kafka:
- Установка Kafka и ZooKeeper или Kraft;
- Создание топиков и работа с сообщениями.
5) Kafka Streams:
- Введение в Kafka Streams;
- Разработка приложений потоковой обработки данных;
- Агрегация, фильтрация и преобразование данных.
6) Kafka Connect:
- Основы Kafka Connect и Debezium;
- Разработка коннекторов для интеграции с внешними системами;
- Конфигурация и развёртывание коннекторов.
7) Безопасность в Kafka:
- Аутентификация и авторизация;
- Шифрование данных;
- Настройка безопасности в Kafka-кластере.
8) Разработка поточного пайплайна данных:
- Интеграция Kafka с базами данных;
- Построение поточного пайплайна данных.
9) Администрирование Kafka:
- Мониторинг и управление Kafka-кластером;
- Настройка производительности и оптимизация;
- Решение проблем и устранение неполадок.
10) Kafka в продакт среде:
- Развёртывание Kafka в продакшен-среде;
- Масштабирование и высокая доступность;
- Резервное копирование и восстановление данных.
11) Интеграция Kafka с экосистемой Big Data:
- Интеграция с Apache Spark;
- Интеграция с Apache Hadoop;
- Сценарии использования Kafka в проектах Big Data.
12) Финальный проект:
- Разработка масштабируемого приложения обработки данных в реальном времени с использованием Kafka, Kafka Streams и интеграции с Apache Spark.
Старт: 3 июля 2024
Цена: 86000 руб.
Для просмотра скрытого содержимого вы должны зарегистрироваться
Возможно, Вас ещё заинтересует:
- Биполярное расстройство во всем его многообразии [EduNote] [Маша Пушкина (Фаворская)]
- Прогноз-руководство на 2025 [Школа Китайской Метафизики] [Наталья Пугачёва]
- Королева глюкозы. 3 ступени к снижению уровня сахара в крови и восстановлению качества жизни [Дональд Д. Хенсруд]
- [Вязание] Повседневный вязаный кардиган Armor [Вяжи.ру] [Ankestrick]
- Ответы на экзамены Google (5 в 1) . 2024 [Яков Осипенков]
- [Вязание] Ажурный свитер Clotilde [Вяжи.ру] [Пэрнил Ларсен]