ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka

IMG_25092017_170731_0

Продолжительность курса — 3 дня

  1. Введение в ArenadataStreaming
  • Архитектурные особенностиArenadata Streaming
  • Что такое Kafka?
  • Сценарии использованияKafka
  • Компоненты Kafkaи Kafka экосистемы дистрибутива ADS (Arenadata Streaming)
  • КластерZookeeper
  • Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции
  1. Основные концепции Kafka
  • Как работает KafkaТопики (Topics) и партиций (Partitions). Репликация данных.
  • Брокеры (Brokers):Развертывание. Конфигурация Multibroker.
  • Поставщики данных(Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API.
  • Потребители данных (Consumers):Очереди Consumers. Широковещание (Broadcasting).
  1. Установка кластера ArenadataStreaming
  • Требования по установке кластера
  • Автоматизация развертывания с использованиемADCM – Arenadata Cluster Manager
  • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
  • Установка и настройка кластера KafkaПланирование установки и sizingкластера Типовые проблемы при установке. Запуск и первоначальное конфигурирование KafkaКонфигурация 
  • Установка кластераKafka на Yandex Cloud
  1. Базовые операции в Kafka
  • Семантика операций вArenadata
  • Гарантия очередности. Гарантия доставки.
  • Операции с Топиками (Topic)
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer
  • Разбор примера кода producer
  • Разбор примера кода consumer
  1. Оптимизация кластера Kafka
  • Выполнение операций обслуживания кластераArenadata Streaming с ADCM
  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Балансировка разделов(partition) и использование Partition Reassignment Tools в KafkaTopics
  • Мониторинг кластераKafka с использованием Grafana и JMX
  • Best Practices
  1. ИнтеграцияArenadata Streaming с Arenadata Hadoop
  • Использование ArenadataNiFi для потоковой обработки данных
  • ИнтеграцияFlume с Kafka для файловых операций с HDFS
  1. Расширенная конфигурация кластера Kafka
  • Геораспределенная конфигурация с использованиемADS Mirror Maker
  • Расширенная конфигурация топиков (Topic):Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
  • Настройка SchemaRegistry
  1. Безопасность в Kafka
  • Шифрование SSL:Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов.
  • Аутентификация SSL/SASL
  • Аутентификация Kerberos: НастройкаKeytabs и Настройка кластера Kafka и клиентов для поддержки Kerberos.
  • Авторизация в Управлениесписками управления доступом (ACL)

 

ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka
BIG DATA SCIENCE,