- Регистрация
- 1 Дек 2015
- Сообщения
- 145.964
- Реакции
- 777.031
Apache Kafka для разработки и архитектуры [Яндекс Практикум]
Навыки работы с Apache Kafka нужны всем, кто хочет влиять на масштабируемость и надёжность систем
Бэкенд-разработчикам
Сможете создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени
Архитекторам
Научитесь создавать распределённые системы с высокой степенью интеграции и обеспечивать консистентность данных
DevOps-инженерам
Освоите инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, чтобы стало проще управлять инфраструктурой
Инженерам данных
Научитесь строить конвейеры данных, чтобы обеспечить их передачу из различных источников в системы хранения и обработки
Курс подойдёт вам, если
Знаете один из языков: Java, Python или Golang
Понимаете принципы работы с базами данных SQL и NoSQL
Обладаете базовыми знаниями об архитектуре распределённых систем
Умеете работать с Linux
Что будете уметь через 3 месяца
Настраивать Apache Kafka для своих задач и оптимизировать производительность
Работать с производителями и потребителями сообщений
Обеспечивать надёжность и отказоустойчивость систем
Интегрировать Kafka с внешними системами
Проектировать и реализовывать потоковые пайплайны данных
Настраивать мониторинг кластеров Kafka и управлять им
Технологии, которые вы сможете применять в работе
Apache Kafka
Kafka Connect
Kafka Streams
Интеграция Kafka с Apache Spark
Интеграция Kafka с Apache Flink
Интеграция Kafka с Apache Hadoop
Интеграция Kafka с базами данных
Kafka MirrorMaker
Kafka REST Proxy
Schema Registry
Программа
1) Введение в Apache Kafka
Основные концепции и терминология
Архитектура Kafka
Установка и настройка Kafka-кластера
2) Продюсеры и консьюмеры
Создание и конфигурация продюсеров
Создание и конфигурация консьюмеров
Сериализация и десериализация данных
3) Типики и партиции
Создание и конфигурация топиков
Понимание партиций и их роли в масштабировании
Репликация данных для обеспечения отказоустойчивости
4) Развертывание базового кластера Kafka
Установка Kafka и ZooKeeper или Kraft
Создание топиков и работа с сообщениями
5) Kafka Streams
Введение в Kafka Streams
Разработка приложений потоковой обработки данных
Агрегация, фильтрация и преобразование данных
6) Kafka Connect
Основы Kafka Connect и Debezium
Разработка коннекторов для интеграции с внешними системами
Конфигурация и развёртывание коннекторов
7) Безопасность в Kafka
Аутентификация и авторизация
Шифрование данных
Настройка безопасности в Kafka-кластере
8) Разработка поточного пайплайна данных
Интеграция Kafka с базами данных
Построение поточного пайплайна данных
9) Администрирование Kafka
Мониторинг и управление Kafka-кластером
Настройка производительности и оптимизация
Решение проблем и устранение неполадок
10) Kafka в продакт среде
Развёртывание Kafka в продакшен-среде
Масштабирование и высокая доступность
Резервное копирование и восстановление данных
11) Интеграция Kafka с экосистемой Big Data
Интеграция с Apache Spark
Интеграция с Apache Hadoop
Сценарии использования Kafka в проектах Big Data
12) Финальный проект
Разработка масштабируемого приложения обработки данных в реальном времени с использованием Kafka, Kafka Streams и интеграции с Apache Spark
Старт 3 июля 2024
Цена 86000 руб
Навыки работы с Apache Kafka нужны всем, кто хочет влиять на масштабируемость и надёжность систем
Бэкенд-разработчикам
Сможете создавать масштабируемые, отказоустойчивые и гибкие системы обработки данных в реальном времени
Архитекторам
Научитесь создавать распределённые системы с высокой степенью интеграции и обеспечивать консистентность данных
DevOps-инженерам
Освоите инструменты для автоматизации развёртывания, настройки и мониторинга кластеров, чтобы стало проще управлять инфраструктурой
Инженерам данных
Научитесь строить конвейеры данных, чтобы обеспечить их передачу из различных источников в системы хранения и обработки
Курс подойдёт вам, если
Знаете один из языков: Java, Python или Golang
Понимаете принципы работы с базами данных SQL и NoSQL
Обладаете базовыми знаниями об архитектуре распределённых систем
Умеете работать с Linux
Что будете уметь через 3 месяца
Настраивать Apache Kafka для своих задач и оптимизировать производительность
Работать с производителями и потребителями сообщений
Обеспечивать надёжность и отказоустойчивость систем
Интегрировать Kafka с внешними системами
Проектировать и реализовывать потоковые пайплайны данных
Настраивать мониторинг кластеров Kafka и управлять им
Технологии, которые вы сможете применять в работе
Apache Kafka
Kafka Connect
Kafka Streams
Интеграция Kafka с Apache Spark
Интеграция Kafka с Apache Flink
Интеграция Kafka с Apache Hadoop
Интеграция Kafka с базами данных
Kafka MirrorMaker
Kafka REST Proxy
Schema Registry
Программа
1) Введение в Apache Kafka
Основные концепции и терминология
Архитектура Kafka
Установка и настройка Kafka-кластера
2) Продюсеры и консьюмеры
Создание и конфигурация продюсеров
Создание и конфигурация консьюмеров
Сериализация и десериализация данных
3) Типики и партиции
Создание и конфигурация топиков
Понимание партиций и их роли в масштабировании
Репликация данных для обеспечения отказоустойчивости
4) Развертывание базового кластера Kafka
Установка Kafka и ZooKeeper или Kraft
Создание топиков и работа с сообщениями
5) Kafka Streams
Введение в Kafka Streams
Разработка приложений потоковой обработки данных
Агрегация, фильтрация и преобразование данных
6) Kafka Connect
Основы Kafka Connect и Debezium
Разработка коннекторов для интеграции с внешними системами
Конфигурация и развёртывание коннекторов
7) Безопасность в Kafka
Аутентификация и авторизация
Шифрование данных
Настройка безопасности в Kafka-кластере
8) Разработка поточного пайплайна данных
Интеграция Kafka с базами данных
Построение поточного пайплайна данных
9) Администрирование Kafka
Мониторинг и управление Kafka-кластером
Настройка производительности и оптимизация
Решение проблем и устранение неполадок
10) Kafka в продакт среде
Развёртывание Kafka в продакшен-среде
Масштабирование и высокая доступность
Резервное копирование и восстановление данных
11) Интеграция Kafka с экосистемой Big Data
Интеграция с Apache Spark
Интеграция с Apache Hadoop
Сценарии использования Kafka в проектах Big Data
12) Финальный проект
Разработка масштабируемого приложения обработки данных в реальном времени с использованием Kafka, Kafka Streams и интеграции с Apache Spark
Старт 3 июля 2024
Цена 86000 руб
Для просмотра скрытого содержимого вы должны зарегистрироваться
Возможно, Вас ещё заинтересует:
- [ИИ] Чат-бот с искусственным интеллектом ChatGPT [openai.com] Team №9 на 1 месяц по 10 человек
- Время праздновать! Книга-лекарство от обесценивания, суеты и дня сурка [Анна Черных]
- Дайте денег, работу не предлагать. Книга-практикум по решению психологических проблем с финансами [Марина Гогуева]
- Все под контролем! Как быть усидчивым, внимательным и спокойным, даже если у тебя СДВГ [Лоуренс Шапиро]
- Мозг: еда и новизна. Почему нас тянет к новому и вкусному [Вячеслав Дубынин]
- Как приручить тревогу. Шаг за шагом к внутреннему спокойствию. Дневник ежедневных побед [Татьяна Орешина]