ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka

Продолжительность курса — 3 дней

Описание Услуги

ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka

01. Введение в Arenadata Streaming

  • Архитектурные особенности Arenadata Streaming
  • Что такое Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы дистрибутива ADS (Arenadata Streaming)
  • Кластер Zookeeper
  • Потоковая Обработка Событий (Event Stream Processing): терминология и основные концепции

02. Основные концепции Kafka

  • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
  • Брокеры (Brokers): Развертывание. Конфигурация Multibroker.
  • Поставщики данных(Producers): Типы партиций. Синхронные и асинхронные Producers. Параметры конфигурации. Java API.
  • Потребители данных (Consumers): Очереди Consumers. Широковещание (Broadcasting).

03. Установка кластера Arenadata Streaming

  • Требования по установке кластера
  • Автоматизация развертывания с использованием ADCM – Arenadata Cluster Manager
  • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация
  • Установка кластера Kafka на Yandex Cloud

04. Базовые операции в Kafka

  • Семантика операций в Arenadata
  • Гарантия очередности. Гарантия доставки.
  • Операции с Топиками (Topic)
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer
  • Разбор примера кода producer
  • Разбор примера кода consumer

05. Оптимизация кластера Kafka

  • Выполнение операций обслуживания кластера Arenadata Streaming с ADCM
  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Балансировка разделов(partition) и использование Partition Reassignment Tools в KafkaTopics
  • Мониторинг кластера Kafka с использованием Grafana и JMX
  • Best Practices

07. Расширенная конфигурация кластера Kafka

  • Геораспределенная конфигурация с использованием ADS Mirror Maker
  • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
  • Настройка Schema Registry

08. Безопасность в Kafka

  • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL для Kafka кластера и клиентов.
  • Аутентификация SSL/SASL
  • Аутентификация Kerberos: Настройка Keytabs и Настройка кластера Kafka и клиентов для поддержки Kerberos.
  • Авторизация в Управлениесписками управления доступом (ACL)