EGround
Редактор
- Сообщения
- 24.325
- Реакции
- 127
BDAM: Аналитика больших данных для руководителей [Школа больших данных] [Николай Комиссаренко]
О продукте:
Сегодня информация — это основа любого бизнеса, инструмент эффективного управления и оптимизации рабочих процессов. Аналитика больших данных (Big Data) вашего бизнеса поможет своевременно выявить и даже предупредить множество проблем, от оттока клиентов до утечки персональных данных. Чтобы понимать возможности современных технологий и выбирать среди них наилучшее соотношение «стоимость/результат», менеджеру необходимо разбираться в базовых понятиях и прикладных решениях.
Теоретический курс «Аналитика больших данных для руководителей» ориентирован на руководство государственных предприятий и частных компаний, менеджеров и специалистов, которые хотят получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах Big Data и цифровизации бизнеса, в том числе, в условиях импортозамещения.
Аудитория: Руководство государственных предприятий и частных компаний, менеджеры и специалисты.
Уровень подготовки: Предварительный опыт не требуется.
Программа курса:
1. Введение в Big Data (Большие данные)
2. Понимание Бизнеса (Business Understanding)
3. Понимание данных (Data Understanding)
4. Подготовка данных (Data Preparation)
5. Выбор и построение моделей (Modeling)
6. Оценка результатов (Evaluation)
7. Развертывание (Deployment)
8.Финальная переоценка проекта
Спойлер: Подробно: 1. Введение в Big Data (Большие данные)
- Большие данные и цифровизация бизнеса.
- Базовые принципы и отличия от классических подходов к работе с данными.
- Обзор методологии CRISP DM — модели жизненного цикла аналитики данных: получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение.
- Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases).
- Тенденции в подходах Big Data и что актуально на сегодняшний день.
- Технологии Big Data в условиях импортозамещения.
2. Понимание Бизнеса (Business Understanding)
- Определение бизнес целей для проекта Big Data.
- Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases).
- Инициация проекта — критические факторы успеха. Основные проблемы.
- Оценка ситуации: риски, ROI, доступные ресурсы, оценка зрелости компании.
- Приоритизация задач: Что делаем, а что нет.
- Высокоуровневый план проекта.
- Начинаем формировать команду проекта: специалисты и их компетенции, роли.
3. Понимание данных (Data Understanding)
- Определение источников данных.
- Специфика работы с потоковыми данными и batch в Big Data.
- Принципы формирования Data Lake: выбор платформы.
- Первичный сбор и анализ данных: инструментарий и доступные методы.
- Описание данных и сбор метаданных.
- Data management и Data Governance.
- Оценка качества данных Data Quality.
- Основные трудности и проблемы, критические факторы успеха, роли и навыки.
- Разбор сценариев (cases) для фазы Data Understanding.
4. Подготовка данных (Data Preparation)
- Подготовка данных – подходы Data Science: нормализация, очистка, выборки, enrichment, форматирование данных.
- Подготовка данных – как процесс формирования Data Pipeline:
- Процессы ETL и ELT,
- Зонирование Data Lake и сегментирование данных,
- Назначение и сравнительная характеристика компонент экосистемы Apache Hadoop, NoSQL, DWH, платформ потоковой обработки для хранения и обработки Big Data на примерах (отраслевые сценарии),
- Инструменты оркестрирования и автоматизации (Data Flow).
- И снова о Метаданных: Data Lineage, Data Provenance, Data Governance, …
- Безопасность больших данных.
- Основные трудности и проблемы, критические факторы успеха.
- Специалисты и их компетенции на данной стадии.
5. Выбор и построение моделей (Modeling)
- Классы аналитических задач и подходы к их решению.
- Обзор техник моделирования.
- Построение моделей и оценка моделей.
- Что нужно для успешного моделирования.
- Инструментарий для решения аналитических задач этапа моделирования.
- Оценка моделей и среда тестирования моделей: технические метрики оценки качества проведенного моделирования.
- А также песочницы, Machine & Deep learning, AI, Нейронные сети и многое другое.
- Команда Data Science и их компетенции.
- Основные трудности и проблемы фазы моделирования, критические факторы успеха.
- Облачные платформы для быстрой разработки.
- Место DevOps, MLOps для организации процессов разработки.
- Рассмотрение фазы моделирования на сквозных сценариях (cases): место, участники, взаимодействие с другими фазами и процессами.
6. Оценка результатов (Evaluation)
- Про бизнес-метрики оценки качества моделирования.
- Что делать если все плохо? – возвращаемся на предыдущие фазы.
- Рассматриваем данную стадию в рамках наших сценариев (cases).
- Отличия среды разработки и эксплуатации.
- Особенности этапа оценки.
7. Развертывание (Deployment)
- Планирование развертывания модели.
- Мониторинг и обслуживание модели.
- Методологии автоматизации и вывода продуктов в промышленную эксплуатацию – DevOps и MLOps.
- Задачи финального обеспечения фаз жизненного цикла Data Science: цикличность reviews, обновления и вывод из эксплуатации.
8.Финальная переоценка проекта
Чему Вы научитесь:
Разбираться в основных понятиях Больших Данных, Машинного обучения (Machine Learning), Искусственного интеллекта (Artificial Intelligence)
понимать назначение компонентов экосистемы Hadoop, Spark, Kafka или терминов Data Lake, Delta Lake,
знать, в чем отличие Apache Hadoop, Arenadata, NoSQL, MPP или Greenplum,
выявить нюансы облачных решений, контейнеризации и применимости к вашей отрасли бизнеса,
знать, что такое политики Data Governance,
знать особенности применения методологий для реализации процессов аналитики больших данных на примере CRISP-DM.
Кто проводит курс: Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Цена: 72000р
