DEVKA2: Kafka интеграция для разработчиков

Продолжительность курса — 2 дней

Описание Услуги

2х-дневный курс для специалистов желающих получить и систематизировать знания по интеграции Apache Kafka с различными внешними системами в рамках распределенной потоковой обработки событий (Event Streaming Processing). Apache Kafka Connect — это общая платформа для производителей и потребителей Apache Kafka. Apache Kafka Connect предлагает API, Runtime и REST Service, которые позволяют разработчикам определять коннекторы, которые перемещают большие наборы данных в Apache Kafka и из него в режиме реального времени. В рамках курса научимся принимать и отдавать целые базы данных, собирать метрики, собирать журналы со всех ваших серверов приложений в разделы Apache Kafka, делая данные доступными для потоковой обработки с малой задержкой.

01. Аудитория

Специалисты желающие изучить методы интеграции Apache Kafka с внешними системами, как самописными, так и проприератными, получить практические примеры интеграции с самыми разными системами и изучить лучшие практики в этом процессе.

Соотношение теории к практике 50/50

02. Предварительная подготовка

  • Начальный опыт работы в Unix
  • Начальный опыт программирования на Java
  • Опыт работы с Distributed File System (необязательно)
  • Прохождение курса Kafka Streams for Developers

Содержание курса

01. Kafka интеграция

  • Виды Kafka Connector-ов Разберемся в том, какие Connector-ы есть в Kafka, а также мотивацию их применения в разных случаях
  • Режимы работы Kafka- распределенный и standalone Изучим отличия разных режимов работы Kafka, их преимущества и принципы применения
  • Автоматическая работа с offset Научимся работать со смещениями в процессах KafkaIntegration.
  • Group management protocol Научимся управлять группами в процессах интеграции Kafka.
  • Batching в Kafka Сможем компоновать данные для отсылки их по каналам интеграции.

02. Интеграция с Apache Spark

Сможем работать с Apache Spark из Kafka, применять Spark трансформации в Kafka, а также пересылать сообщения в формате Apache Spark.

04. Интеграция с AWS

Сможем работать с любыми сервисами Amazon Web Services, использовать дополнительные возможности AWSв работе с Kafka.

05. Msgpack в Java.

Сможем компоновать необычные форматы данных в простые сообщения.

  • Сериализация и десериализация
  • Применение Msgpack в процессе messaging-а в рамках Kafka процесса