- Регистрация
- 1 Дек 2015
- Сообщения
- 146.010
- Реакции
- 777.031
BDAM: Аналитика больших данных для руководителей [bigdataschool] [Школа больших данных]
Все, что нужно знать для успешной работы с большими данными: методы аналитики и машинного обучения, принципы работы и функциональные возможности компонентов экосистемы Hadoop, безопасность озера данных, цифровизация бизнеса.
О продукте:
Сегодня информация — это основа любого бизнеса, инструмент эффективного управления и оптимизации рабочих процессов. Аналитика больших данных (Big Data) вашего бизнеса поможет своевременно выявить и даже предупредить множество проблем, от оттока клиентов до утечки персональных данных. Чтобы понимать возможности современных технологий и выбирать среди них наилучшее соотношение «стоимость/результат», менеджеру необходимо разбираться в базовых понятиях и прикладных решениях.
Теоретический курс «Аналитика больших данных для руководителей» ориентирован на руководство государственных предприятий и частных компаний, менеджеров и специалистов, которые хотят получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах Big Data и цифровизации бизнеса, в том числе, в условиях импортозамещения.
Аудитория:
Руководство государственных предприятий и частных компаний, менеджеры и специалисты.
Уровень подготовки:
Предварительный опыт не требуется.
Программа курса «Аналитика больших данных для руководителей»
1. Введение в Big Data (Большие данные)
Большие данные и цифровизация бизнеса.
Базовые принципы и отличия от классических подходов к работе с данными.
Обзор методологии CRISP DM — модели жизненного цикла аналитики данных: получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение.
Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases).
Тенденции в подходах Big Data и что актуально на сегодняшний день.
Технологии Big Data в условиях импортозамещения.
2. Понимание Бизнеса (Business Understanding)
Определение бизнес целей для проекта Big Data.
Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases).
Инициация проекта — критические факторы успеха. Основные проблемы.
Оценка ситуации: риски, ROI, доступные ресурсы, оценка зрелости компании.
Приоритизация задач: Что делаем, а что нет.
Высокоуровневый план проекта.
Начинаем формировать команду проекта: специалисты и их компетенции, роли.
3. Понимание данных (Data Understanding)
Определение источников данных.
Специфика работы с потоковыми данными и batch в Big Data.
Принципы формирования Data Lake: выбор платформы.
Первичный сбор и анализ данных: инструментарий и доступные методы.
Описание данных и сбор метаданных.
Data management и Data Governance.
Оценка качества данных Data Quality.
Основные трудности и проблемы, критические факторы успеха, роли и навыки.
Разбор сценариев (cases) для фазы Data Understanding.
4. Подготовка данных (Data Preparation)
Подготовка данных – подходы Data Science: нормализация, очистка, выборки, enrichment, форматирование данных.
Подготовка данных – как процесс формирования Data Pipeline:
Процессы ETL и ELT,
Зонирование Data Lake и сегментирование данных,
Назначение и сравнительная характеристика компонент экосистемы Apache Hadoop, NoSQL, DWH, платформ потоковой обработки для хранения и обработки Big Data на примерах (отраслевые сценарии),
Инструменты оркестрирования и автоматизации (Data Flow).
И снова о Метаданных: Data Lineage, Data Provenance, Data Governance, …
Безопасность больших данных.
Основные трудности и проблемы, критические факторы успеха.
Специалисты и их компетенции на данной стадии.
5. Выбор и построение моделей (Modeling)
Классы аналитических задач и подходы к их решению.
Обзор техник моделирования.
Построение моделей и оценка моделей.
Что нужно для успешного моделирования.
Инструментарий для решения аналитических задач этапа моделирования.
Оценка моделей и среда тестирования моделей: технические метрики оценки качества проведенного моделирования.
А также песочницы, Machine & Deep learning, AI, Нейронные сети и многое другое.
Команда Data Science и их компетенции.
Основные трудности и проблемы фазы моделирования, критические факторы успеха.
Облачные платформы для быстрой разработки.
Место DevOps, MLOps для организации процессов разработки.
Рассмотрение фазы моделирования на сквозных сценариях (cases): место, участники, взаимодействие с другими фазами и процессами.
6. Оценка результатов (Evaluation)
Про бизнес-метрики оценки качества моделирования.
Что делать если все плохо? – возвращаемся на предыдущие фазы.
Рассматриваем данную стадию в рамках наших сценариев (cases).
Отличия среды разработки и эксплуатации.
Особенности этапа оценки.
7. Развертывание (Deployment)
Планирование развертывания модели.
Мониторинг и обслуживание модели.
Методологии автоматизации и вывода продуктов в промышленную эксплуатацию – DevOps и MLOps.
Задачи финального обеспечения фаз жизненного цикла Data Science: цикличность reviews, обновления и вывод из эксплуатации.
8.Финальная переоценка проекта
Постанализ рисков и BIA, ROI и генерация ценности.
Допущенные просчеты и методы их решения.
Оценка процессов и оценка зрелости компании.
Типичные ошибки применения CRISP DM.
Альтернативные подходы и расширения CRISP DM (Domino, TDSP, SEMMA).
Чему Вы научитесь:
Разбираться в основных понятиях Больших Данных, Машинного обучения (Machine Learning), Искусственного интеллекта (Artificial Intelligence)
понимать назначение компонентов экосистемы Hadoop, Spark, Kafka или терминов Data Lake, Delta Lake,
знать, в чем отличие Apache Hadoop, Arenadata, NoSQL, MPP или Greenplum,
выявить нюансы облачных решений, контейнеризации и применимости к вашей отрасли бизнеса,
знать, что такое политики Data Governance,
знать особенности применения методологий для реализации процессов аналитики больших данных на примере CRISP-DM.
Что Вы получите:
Окончив курс «Аналитика больших данных для руководителей» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.
Кто проводит курс
Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
Сертифицированный тренер Arenadata (2019)
Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
EMC Certified Instructor (2007)
Dell EMC Specialist – Cloud Architect (2006)
Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
IT Service Manager (2006)
Certified Information System Security Professional (CISSP) (2006 -2010)
Certified Information Security Manager (CISM)
Все, что нужно знать для успешной работы с большими данными: методы аналитики и машинного обучения, принципы работы и функциональные возможности компонентов экосистемы Hadoop, безопасность озера данных, цифровизация бизнеса.
О продукте:
Сегодня информация — это основа любого бизнеса, инструмент эффективного управления и оптимизации рабочих процессов. Аналитика больших данных (Big Data) вашего бизнеса поможет своевременно выявить и даже предупредить множество проблем, от оттока клиентов до утечки персональных данных. Чтобы понимать возможности современных технологий и выбирать среди них наилучшее соотношение «стоимость/результат», менеджеру необходимо разбираться в базовых понятиях и прикладных решениях.
Теоретический курс «Аналитика больших данных для руководителей» ориентирован на руководство государственных предприятий и частных компаний, менеджеров и специалистов, которые хотят получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах Big Data и цифровизации бизнеса, в том числе, в условиях импортозамещения.
Аудитория:
Руководство государственных предприятий и частных компаний, менеджеры и специалисты.
Уровень подготовки:
Предварительный опыт не требуется.
Программа курса «Аналитика больших данных для руководителей»
1. Введение в Big Data (Большие данные)
Большие данные и цифровизация бизнеса.
Базовые принципы и отличия от классических подходов к работе с данными.
Обзор методологии CRISP DM — модели жизненного цикла аналитики данных: получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение.
Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases).
Тенденции в подходах Big Data и что актуально на сегодняшний день.
Технологии Big Data в условиях импортозамещения.
2. Понимание Бизнеса (Business Understanding)
Определение бизнес целей для проекта Big Data.
Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases).
Инициация проекта — критические факторы успеха. Основные проблемы.
Оценка ситуации: риски, ROI, доступные ресурсы, оценка зрелости компании.
Приоритизация задач: Что делаем, а что нет.
Высокоуровневый план проекта.
Начинаем формировать команду проекта: специалисты и их компетенции, роли.
3. Понимание данных (Data Understanding)
Определение источников данных.
Специфика работы с потоковыми данными и batch в Big Data.
Принципы формирования Data Lake: выбор платформы.
Первичный сбор и анализ данных: инструментарий и доступные методы.
Описание данных и сбор метаданных.
Data management и Data Governance.
Оценка качества данных Data Quality.
Основные трудности и проблемы, критические факторы успеха, роли и навыки.
Разбор сценариев (cases) для фазы Data Understanding.
4. Подготовка данных (Data Preparation)
Подготовка данных – подходы Data Science: нормализация, очистка, выборки, enrichment, форматирование данных.
Подготовка данных – как процесс формирования Data Pipeline:
Процессы ETL и ELT,
Зонирование Data Lake и сегментирование данных,
Назначение и сравнительная характеристика компонент экосистемы Apache Hadoop, NoSQL, DWH, платформ потоковой обработки для хранения и обработки Big Data на примерах (отраслевые сценарии),
Инструменты оркестрирования и автоматизации (Data Flow).
И снова о Метаданных: Data Lineage, Data Provenance, Data Governance, …
Безопасность больших данных.
Основные трудности и проблемы, критические факторы успеха.
Специалисты и их компетенции на данной стадии.
5. Выбор и построение моделей (Modeling)
Классы аналитических задач и подходы к их решению.
Обзор техник моделирования.
Построение моделей и оценка моделей.
Что нужно для успешного моделирования.
Инструментарий для решения аналитических задач этапа моделирования.
Оценка моделей и среда тестирования моделей: технические метрики оценки качества проведенного моделирования.
А также песочницы, Machine & Deep learning, AI, Нейронные сети и многое другое.
Команда Data Science и их компетенции.
Основные трудности и проблемы фазы моделирования, критические факторы успеха.
Облачные платформы для быстрой разработки.
Место DevOps, MLOps для организации процессов разработки.
Рассмотрение фазы моделирования на сквозных сценариях (cases): место, участники, взаимодействие с другими фазами и процессами.
6. Оценка результатов (Evaluation)
Про бизнес-метрики оценки качества моделирования.
Что делать если все плохо? – возвращаемся на предыдущие фазы.
Рассматриваем данную стадию в рамках наших сценариев (cases).
Отличия среды разработки и эксплуатации.
Особенности этапа оценки.
7. Развертывание (Deployment)
Планирование развертывания модели.
Мониторинг и обслуживание модели.
Методологии автоматизации и вывода продуктов в промышленную эксплуатацию – DevOps и MLOps.
Задачи финального обеспечения фаз жизненного цикла Data Science: цикличность reviews, обновления и вывод из эксплуатации.
8.Финальная переоценка проекта
Постанализ рисков и BIA, ROI и генерация ценности.
Допущенные просчеты и методы их решения.
Оценка процессов и оценка зрелости компании.
Типичные ошибки применения CRISP DM.
Альтернативные подходы и расширения CRISP DM (Domino, TDSP, SEMMA).
Чему Вы научитесь:
Разбираться в основных понятиях Больших Данных, Машинного обучения (Machine Learning), Искусственного интеллекта (Artificial Intelligence)
понимать назначение компонентов экосистемы Hadoop, Spark, Kafka или терминов Data Lake, Delta Lake,
знать, в чем отличие Apache Hadoop, Arenadata, NoSQL, MPP или Greenplum,
выявить нюансы облачных решений, контейнеризации и применимости к вашей отрасли бизнеса,
знать, что такое политики Data Governance,
знать особенности применения методологий для реализации процессов аналитики больших данных на примере CRISP-DM.
Что Вы получите:
Окончив курс «Аналитика больших данных для руководителей» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.
Кто проводит курс
Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
Сертифицированный тренер Arenadata (2019)
Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
EMC Certified Instructor (2007)
Dell EMC Specialist – Cloud Architect (2006)
Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
IT Service Manager (2006)
Certified Information System Security Professional (CISSP) (2006 -2010)
Certified Information Security Manager (CISM)
Для просмотра скрытого содержимого вы должны зарегистрироваться
Возможно, Вас ещё заинтересует:
- Python (часть 3) [Stepik] [Hayk Inants]
- Торт Осенняя пора [Тариф Все включено] [Pastry-school] [Елена Крохмаль]
- Своя правда. Как превратить голос в инструмент и быть собой [Ферн Коттон]
- [Скидка] Рефлексы денег. То, что нами управляет [Повтор 2]
- Схема поддержки надпочечников (с обновлениями 2024) [natahaus] [Наталья Хаустова] [Повтор]
- Канал сигналов "Vesperfin Stock House" (октябрь 2024) [Vesperfin] [Арина Веспер]