Курс «Hadoop. Система для обработки больших объемов данных» на платформе Stepik познакомит с принципами работы с этой программной платформой.
Вас научат методам хранения и обрабатывания Big Data, а также дадут навыки для создания приложений с помощью MapReduce.
Вам подойдет этот курс, если вы:
- разработчик среднего или начального уровня;
- умеете работать с Linux;
- знаете хотя бы один язык программирования;
- сможете прочитать документацию на английском языке.
Ключевые навыки, которые вы освоите на этом курсе:
- обработка и хранение больших массивов данных;
- навыки разработки приложений;
- работа с YARN;
- использование фреймворков;
- язык Pig Latin;
- работа с СУБД HBase и Cassandra.
Учебная программа:
- введение: основные понятия Hadoop;
- файловая система HDFS;
- MapReduce и Java API;
- практические задачи с MapReduce;
- графы и их кратчайший путь, MR-алгоритмы;
- сравнение Pig и Hive, PigLatin;
- HBase и Cassandra;
- программная платформа Spark;
- MapReduce 2.0 и YARN.
Курс дает хорошую теоретическую основу и подкрепляет ее практикой. В программе есть тесты и интерактивные задачи. В конце обучения выдается сертификат от Mail.Ru.
Вступительное видео к курсу «Hadoop. Система для обработки больших объемов данных»: