DEVKA2: Kafka интеграция для разработчиков

IMG_25092017_170731_0

Продолжительность курса — 2 дня

О курсе

2х-дневный курс для специалистов желающих получить и систематизировать знания по интеграции Apache Kafka с различными внешними системами в рамках распределенной потоковой обработки событий (Event Streaming Processing). Apache Kafka Connect — это общая платформа для производителей и потребителей Apache Kafka. Apache Kafka Connect предлагает API, Runtime и REST Service, которые позволяют разработчикам определять коннекторы, которые перемещают большие наборы данных в Apache Kafka и из него в режиме реального времени. В рамках курса научимся принимать и отдавать целые базы данных, собирать метрики, собирать журналы со всех ваших серверов приложений в разделы Apache Kafka, делая данные доступными для потоковой обработки с малой задержкой.

Аудитория

Специалисты желающие изучить методы интеграции Apache Kafka с внешними системами, как самописными, так и проприератными, получить практические примеры интеграции с самыми разными системами и изучить лучшие практики в этом процессе.

Соотношение теории к практике 50/50

Предварительная подготовка

  • Начальный опыт работы в Unix
  • Начальный опыт программирования на Java
  • Опыт работы с Distributed File System (необязательно)
  • Прохождение курса Kafka Streams for Developers

 Программа курса

  1. Kafka интеграция
  • Виды Kafka Connector-ов Разберемся в том, какие Connector-ы есть в Kafka, а также мотивацию их применения в разных случаях
  • Режимы работы Kafka- распределенный и standalone Изучим отличия разных режимов работы Kafka, их преимущества и принципы применения
  • Автоматическая работа с offset Научимся работать со смещениями в процессах KafkaIntegration.
  • Group management protocol Научимся управлять группами в процессах интеграции Kafka.
  • Batching в Kafka Сможем компоновать данные для отсылки их по каналам интеграции.
  1. Интеграция с Apache Spark

Сможем работать с Apache Spark из Kafka, применять Spark трансформации в Kafka, а также пересылать сообщения в формате Apache Spark.

  1. Интеграция с Apache Storm

Научимся взаимодействовать с распределенной вычислительной системой Apache Storm.

  1. Интеграция с AWS

Сможем работать с любыми сервисами Amazon Web Services, использовать дополнительные возможности AWSв работе с Kafka.

  1. Msgpack в Java.

Сможем компоновать необычные форматы данных в простые сообщения.

  • Сериализация и десериализация
  • Применение Msgpack в процессе messaging-а в рамках Kafka процесса
DEVKA2: Kafka интеграция для разработчиков
BIG DATA SCIENCE,