Вводный курс по Big Data:
методология и технология компьютерных решений

Для кого этот курс?

Этот курс для тех, кто хочет понять и использовать технологии Big Data для решения конкретных прикладных задач в маркетинге, телекоме, энергетике, промышленности, транспорте.
Курс отражает опыт работы Академии Анализа Данных StatSoft с реальными данными.

Программа курса

1. Вводный обзор: что такое Big Data и для чего нужен
• С каких объемов начинается Big Data
• Реляционные и нереляционные базы данных
• Потоки данных
2. Обзор реляционных баз данных
3. SQL-сервер: основные принципы, примеры
4. NoSQL базы данных: обзор, примеры
5. Предметно-ориентированные информационные базы данных Data Warehausig
6. MapReduce: методология и технология распределенных вычислений
• Этап Map – предварительной обработки
• Этап Reduce – свертки результатов
• Примеры функций
7. Введение в Hadoop:
• Основные принципы Hadoop
• Компоненты Hadoop
• Работа с нереляционными данными
• Примеры использования
• MapReduce в Hadoop
• Надстройки Hive и Pig
8. Hadoop 2.0
9. Обработка данных в реальном времени (Storm, Spark, Impal)
10. Массово-параллельная структура - Massive Parallel Processing:
• Масштабирование реляционных баз данных
• Параллельное выполнение запросов к БД
• Архитектура Hub and Spoke
11. Вычисление дескриптивных статистик для больших объемов данных (частоты, средние, стандартные отклонения, медианы, квартили)
12. Data Mining и Big Data
• Кластеризация, сегментация, алгоритмы к-средних, EM - Expectation-maximization
• Иерархическая кластеризация
• Классификация данных
• Предиктивный анализ
• Регрессионные деревья
• Правила ассоциаций
• Machine learning
13. Технологии Big Data
14. Примеры: маркетинг, телеком, энергетика, промышленность, транспорт
15. Вопросы и ответы
16. Обсуждение задач слушателей

Длительность курса

8 академических часов, курс разбивается на 2 рабочих дня

Курс читается как индивидуально, так и в группах.

Записаться   Календарь курсов