HADM: Администрирование кластера Hadoop

Продолжительность курса — 5 дней

Описание Услуги

Hadoop является наиболее популярной открытой платформой для распределенных вычислений. Курс содержит расширенную информацию по планированию и развертыванию распределенных вычислительных кластеров на базе Hadoop, мониторингу и оптимизации производительности системы, резервному копированию и аварийному восстановлению узлов кластера и отдельных компонент, настройкам безопасности системы на базе Hadoop. Данный курс включает необходимую теоретическую подготовку и наглядные практические примеры развертывания и администрирования Hadoop-кластера, в том числе в облачной инфраструктуре. Практические занятия выполняются в кластерной среде AWS с использованием программного обеспечения Cloudera Manager и подготавливают слушателей к сдаче сертификационного экзамена Cloudera Certified Administrator for Apache Hadoop (CCAH).

01. Аудитория

Системные администраторы, системные архитекторы, разработчики Hadoop

Содержание курса

02. Hadoop Distributed File System

  • Блоки HDFS
  • Основные команды работы с HDFS
  • Операции чтения и записи, назначения HDFS
  • Архитектура HDFS

04. Дизайн кластера Hadoop

  • Дистрибутивы и версии Hadoop: различия и ограничения
  • Требования программного и аппаратного обеспечения
  • Вопросы масштабирования
  • Планирование кластера
  • Оптимизация уровня ядра.
  • Hadoop в облаке.

05. Установка кластера

  • Установка Hadoop кластера
  • Выбор начальной конфигурации
  • Начальная конфигурация HDFS и MapReduce
  • Файлы логов
  • Установка Hadoop клиентов
  • Установка Hadoop кластера в облаке
  • Выбор вендора и хостинга
  • Установка с использованием виртуального образа
  • Amazon EMR

06. MapReduce

  • Ведение в MapReduce
  • Компоненты MapReduce
  • Работа программы MapReduce
  • YARN MapReduce v2
  • Восстановление после сбоя
  • JobTracker веб интерфейс

07. Операции обслуживания кластера Hadoop

  • Дисковая подсистема
  • Квоты
  • Остановка, запуск, перезапуск
  • Управление узлами
  • Сетевая топология
  • Настройка высокой доступности кластера и обновлений
  • Импорт(загрузка) данных на HDFS

11. Оптимизация и управление ресурсами

  • Поиск узких мест
  • Производительность
  • Файловая система
  • Worker Node
  • Сетевая производительность
  • FIFO scheduler
  • Планировщик емкости (Capacity scheduler)
  • Гранулярное управление ресурсами (Fair scheduler)
  • Защита очередей и доминантное управление ресурсами

14. Инструментарий Hadoop экосистемы

  • Apache Pig — установка и функционал
  • Введение в Apache Hive, понятие Hive таблицы, установка Hive
  • Apache Scoop — установка и функционал
  • Apache Flume — установка и функционал