DEVKA1: Kafka Streams для разработчиков

IMG_25092017_170731_0

Продолжительность курса — 3 дня

О курсе

3х-дневный курс для специалистов желающих получить и систематизировать знания по использованию Apache Kafka для программирования распределенной потоковой обработки событий (Event Streaming Processing) на практических примерах с потоковыми данными в реальном времени. Курс содержит расширенные сведения по написанию программ настройки очередей на Kafka, обработки данных в них с соблюдением всех best practices. Благодаря теории вы узнаете обо всех доступных API, внутренних принципах работы библиотеки, а также о некоторых интересных концепциях, таких как exactly once. На практике вам будет предложено написать собственное приложение Kafka Streams с использованием всех современных приемов работы с ней. Решения будут подробно объяснены, и вы узнаете, как наилучшим образом использовать Kafka Streams.

Аудитория

Специалисты желающие изучить методы программирования и проектированияприложений в экосистеме Apache Kafka, научитьсяиспользовать Kafka Stream DSL, динамическую генерацию запросов, а также получить примеры наилучших реализаций данных практик с большим количеством практических примеров.

Соотношение теории к практике 50/50

Предварительная подготовка

  • Начальный опыт работы в Unix
  • Начальный опыт программирования на Java
  • Опыт работы с Distributed File System (необязательно)

 Программа курса

  1. Основные концепции Kafka.
  • Контекст информационного обмена
  1. Архитектура Apache Kafka.
  • Основные термины. Изучим основные компоненты Kafka, принципы их взаимодействия и killer features данной технологии.
  1. Apache Kafka workflow.
  • Работа по модели Pub/Sub и Queue/Consumer Group. Изучим 2 возможных режима работы kafka, а также их отличия и основные причины выбирать тот или другой.
  1. Topic-и в Apache Kafka.
  • Понятие топика. Управление Topic-ами из консоли. Научимся разделять сообщения по группам и управлять ими как из кода, так и из консоли.
  1. Producer Apache Kafka.
  • Публикация сообщений с помощью кода. Погрузимся в детальную настройку Kafka Producer-а и best practices на стороне производителя сообщений.
  1. Consumer Apache Kafka.
  • Прием сообщений point-to-point. Научимся принимать сообщения и завершим на практике минимальный сценарий работы приложения.
  • Kafka Broadcasting and Groups. Гибкий процесс приема сообщений. Научимся настраивать группы для работы с сообщениями в режиме broadcasting.
  1. Архитектура Kafka Stream
  • OLTP операции с Apache Kafka. Общиепонятия Kafka Stream — поток, low barrier, local state, exactly-once, event-time based. Изучим общие принципы и приемы в процессе работы с Kafka Streams.
  • Создание Kafka Stream приложения Напишем базовое приложение с использованием Kafka Stream.
  1. Kafka Stream DSL
  • Kafka Stream DSL — теория и практика Изучим особый язык для настройки потоков данных в Kafka и научимся его использовать.
  1. Processor API
  • Работа с Processor API Научимся писать и соединяться с custom процессорами данных в Kafka.
  1. Сериализация и десериализация
  • Типы данных и сериализация Изучим типы данных, используемые в Kafka, а также научимся сериализовать их в разные хранилища.
  1. Запросы в Kafka Stream
  • Динамические запросы в Kafka Stream Научимся получать любые агрегаты данных в потоках Kafka.
  1. Управление памятью в Kafka Stream
  • Научимся программно и из консоли управлять памятью из Kafka Stream.
DEVKA1: Kafka Streams для разработчиков
BIG DATA SCIENCE,