В этом обзоре представлены лучшие онлайн курсы по технологии Kafka, их сравнение, актуальный рейтинг. Kafka – это одна из наиболее популярных платформ обмена сообщениями. На курсах вы изучите основы работы с Kafka и сможете использовать полученные знания в своих проектах.
Курс «Apache Kafka База» от Слёрм
Цена: от 65 000 руб или рассрочка на 4 месяца – от 16 250 руб / мес в зависимости от выбранного формата обучения – самостоятельно или в группе с преподавателем, первые три темы – бесплатно
Формат обучения: видеозаписи лекций, а также онлайн встречи с преподавателем в случае выбора варианта обучения в группе
Длительность: 29 уроков, 6 недель – в случае выбора обучения в группе, или вы учитесь в своем темпе в случае выбора самостоятельного обучения
Домашние задания: есть
Проверка заданий преподавателем: задания проверяются автоматически, на стендах
Связь с преподавателем: есть
Документ об окончании: сертификат в случае формата обучения в группе
Кому подойдет курс: люди, имеющие базовые знания администрирования Linux, а также базовые знания любого языка программирования
Доступ к материалам: 2 года
Какие навыки вы получите:
- Освоите основные команды по настройке и администрированию сервера Apache Kafka
- Научитесь мониторить Apache Kafka и Apache ZooKeeper и узнаете, какие метрики работоспособности есть
- Сможете создать распределённый отказоустойчивый кластер и распределить нагрузку
- Поймете, какое место Apache Kafka занимает в жизни организации
- Научитесь поддерживать работоспособность кластера
Программа курса:
- История создания Kafka. Что такое Kafka и ее области применения
- Kafka vs Queues. Apache Zookeeper. Consumer groups
- Запуск Kafka. Topic Retention. ZooKeeper. Структура партиции. Log Compaction
- Producer. Consumer и consumer groups. Транзакции и exactly-once processing
- Репликация данных. Конфигурация брокеров. Контроллер. Бэкапы
- Несколько дата-центров. Асинхронный кластер. Streched кластер. Репликаторы
- Мониторинг Kafka. Основные метрики работоспособности
- Причины высокой скорости работы Kafka
- Балансировка нагрузки. Траблшутинг
- Развертывание кластера в продакшене
Особенности курса:
- Вы можете выбрать формат самостоятельного обучения или обучение в группе с онлайн встречами с преподавателем
- Есть чат для общения с преподавателем и другими студентами, если вы выбираете формат обучения в группе
- Преподаватели курса – специалисты по DevOps с большим опытом работы с облачными инфраструктурами, распределенными системами
- Практика проходит на готовых стендах
- Есть возможность купить комплект курсов со скидкой
Курс «Apache Kafka для разработчиков» от Слёрм
https://slurm.io/kafka-for-developers
Цена: от 40 000 руб или рассрочка на 4 месяца – от 10 000 руб / мес в зависимости от выбранного формата обучения – самостоятельно или в группе с преподавателем, видеоуроки без заданий – бесплатно на день
Формат обучения: видеозаписи лекций, а также онлайн встречи с преподавателем в случае выбора варианта обучения в группе
Длительность: 3 дня, 28 уроков, интенсив
Домашние задания: есть
Проверка заданий преподавателем: задания проверяются автоматически, на стендах
Связь с преподавателем: есть
Документ об окончании: сертификат в случае формата обучения в группе
Кому подойдет курс: люди, имеющие базовые знания администрирования Linux, а также базовые знания любого языка программирования
Доступ к материалам: 2 года
Какие навыки вы получите:
- Поймете, что с микросервисами благодаря Kafka работать гораздо проще
- Освоите востребованный на рынке инструмент
- Узнаете, как сделать приложения более отказоустойчивыми
- Сможете быстрее и эффективнее решать рабочие задачи
- Научитесь избегать большинства проблем, с которыми сталкиваются начинающие разработчики, использующие Kafka
- Освоите создание нескольких приложений, использующих Kafka
Программа курса:
- Понятия ноды, кластера, датацентра
- Знакомство с ZooKeeper
- Понятия топика, консумера, продюсера
- Понятия сообщения, ключа, значения
- Понятие партиции
- Понятие шардинга (партиционирования)
- Репликация лидер-ведомый
- Концепция указателей (смещений)
- Буферная передача и задержки
- Топики
- Сериализация сообщений
- Настройки продюсера и консумера
- Асинхронные сообщения
- Подписка на события
- Репликация в микросервисах
- Only once, идемпотентность во время записи в базу
- Only once во время копирования из топика в топик
- Sagas / Distributed transactions
- Однонаправленная обработка событий
- Пример применения: event sourсing. Акторы
- Индекс времени вставки
- Расчет агрегатов с помощью Kafka
- Объединение старых значений ключа
- Доступ к сообщениям в случайном порядке
- Создаем fifo очередь
- Очередь, отсортированная по времени получения aka шедуллер
Особенности курса:
- Вы можете выбрать формат самостоятельного обучения или обучение в группе с онлайн встречами с преподавателем
- Есть чат для общения с преподавателем и другими студентами, если вы выбираете формат обучения в группе
- Преподаватели курса – DevOps-инженеры с большим опытом работы с облачными инфраструктурами, распределенными системами
- Практика проходит на готовых стендах
- Есть возможность купить комплект курсов со скидкой
Курс «Apache Kafka Series — Learn Apache Kafka for Beginners» от Udemy
https://www.udemy.com/course/apache-kafka/
Цена: 3 990 руб
Формат обучения: видеозаписи лекций
Длительность: 8.5 часов видео, 121 лекция, 10 статей, квизы, вы учитесь в своем темпе
Домашние задания: нет
Проверка заданий преподавателем: нет
Связь с преподавателем: есть
Документ об окончании: сертификат
Кому подойдет курс: люди, имеющие базовые знания командной строки Linux, желательны базовые знания Java
Доступ к материалам: навсегда
Курс на английском языке.
Какие навыки вы получите:
- Получите понимание экосистемы Apache Kafka, архитектуры, основных концепций и операций
- Познакомитесь с основными концепциями, такими как топики, разделы, брокеры, производители, потребители
- Запустите свою среду разработки Kafka
- Изучите основные CLI: kafka-topics, kafka-console-producer, kafka-console-consumer, kafka-consumer-groups, kafka-configs
- Создадите своих производителей и потребителей на Java для взаимодействия с Kafka
- Напишите реального продюсера Twitter и консумера ElasticSearch
- Познакомитесь с расширенными API (Kafka Connect, Kafka Streams), примеры использования и архитектура больших данных
- Разберетесь в сжатии журналов
Программа курса:
- Загрузка кода
- Основы Кафка
- Топики, партиции и смещения
- Продюсеры и ключи сообщений
- Консумеры и десериализация
- Группы консумеров и смещения консумеров
- Брокеры и топики
- Репликация топиков
- Знакомство с Zookeeper
- Kafka KRaft – удаление Zookeeper
- Запуск Kafka с помощью Conductor
- Запуск Kafka на Mac, Linux, Windows
- Запуск Kafka в режиме Kraft на Mac, Linux, Windows
- Kafka Topics CLI
- Kafka Console Producer CLI
- Kafka Console Consumer CLI
- Консумеры Kafka в группах
- Kafka Consumer Groups CLI
- Сброс смещений
- Kafka UI – Conduktor
- Создание Java проекта Kafka
- Java продюсер
- Колбэки Java продюсера
- Java продюсер с ключами
- Java консумер
- Java консумер в группе консумеров
- Программирование – продвинутые примеры
- Реальный практический пример на Kafka
- Локальный запуск Kafka c Conduktor, используя Docker
- Реализация Wikimedia продюсера
- Запуск Wikimedia продюсера
- Конфиги продюсера
- Безопасные настройки продюсера
- Сжатие сообщений Kafka
- Настройки продюсера linger.ms и batch.size
- Партишионеры продюсера
- OpenSearch консумер – обзор проекта
- Настройка OpenSearch в Docker
- Настройка OpenSearch в облаке
- Реализация OpenSearch консумера
- Семантика доставки консумера
- Внутренние потоки консумера
- Расширенные API Kafka – обзор
- Знакомство с Kafka Connect
- Знакомство с Kafka Streams
- Знакомство с Kafka Schema Registry
- Выбор количества партиций и фактора репликации
- Соглашение именования топиков Kafka
- Обзор высокоуровневой архитектуры кластера Kafka
- Мониторинг Kafka
- Безопасность Kafka
- Продвинутое изучение Kafka
- Изменение конфигурации топика
- Сегмент и индексы
- Политики очистки лога
- Сжатие лога
- Большие сообщения в Kafka
Курс «Apache Kafka for absolute beginners» от Udemy
https://www.udemy.com/course/apache-kafka-for-beginners/
Цена: 1 590 руб
Формат обучения: видеозаписи лекций
Длительность: 5 часов видео, 55 лекций, 2 статьи, вы учитесь в своем темпе
Домашние задания: нет
Проверка заданий преподавателем: нет
Связь с преподавателем: есть
Документ об окончании: сертификат
Кому подойдет курс: люди, имеющие базовые знания командной строки Linux
Доступ к материалам: навсегда
Курс на английском языке.
Программа курса:
- Что такое Apache Kafka
- Концепции ядра Kafka
- Концепции ядра Kafka Connect
- Концепции ядра Kafka Streams
- Концепции ядра Kafka SQL
- Когда что использовать?
- Установка кластера Kafka с единственной нодой
- Использование консумера и продюсера в командной строке
- Установка кластера Kafka с множеством нод
- Использование групп консумеров
- Настройка среды разработки
- Понимание архитектуры Kafka Storage
- Топики и партиции Kafka
- Репликация топиков Kafka
- Партиции лидеры и ведомые
- Сегменты лога Kafka
- Смещения сообщений Kafka
- Индекс сообщений Kafka
- Понимание кластера Kafka
- Zookeeper в Kafka
- Контроллер кластера Kafka
- Выделение партиций и отказоустойчивость
- Лидер раздела vs последователь раздела
- Список ISR
- Закоммиченные записи vs незакоммиченные
- Минимальный список ISR
- Знакомство с продюсерами Kafka
- Создание первого продюсера
- Запись продюсера
- Сериализатор продюсера
- Партишионер продюсера
- Метка времени сообщения
- Буфер сообщений продюсера
- Поток ввода/выводы продюсера
- Резюме по внутреннему устройству продюсера
- Горизонтальное vs вертикальное масштабирование
- Сценарий многопоточного продюсера
- Создание многопоточного продюсера Kafka
- По крайней мере, один раз vs максимум раз
- Ровно один раз – идемпотентность продюсера
- Транзакции в продюсере Kafka
- Работа с типами и сериализацией
- Использование схемы JSON
- Использование схемы AVRO
- Знакомство с консумерами Kafka
- Создание пайплайна Kafka Consume — Transform — Produce
- Группа консумера и масштабирование
- Позиции консумера – текущее смещение vs закоммиченное смещение
Курс «Building Scalable Data Pipelines with Kafka» от Educative
https://www.educative.io/courses/scalable-data-pipelines-kafka
Цена: не указана, первые 7 дней — бесплатно
Формат обучения: текстовые лекции, практические задания в браузере
Длительность: 31 урок, вы учитесь в своем темпе
Домашние задания: есть
Проверка заданий преподавателем: задания выполняются в браузере
Связь с преподавателем: нет
Документ об окончании: сертификат
Кому подойдет курс: люди, имеющие базовые знания командной строки Linux
Доступ к материалам: навсегда
Курс на английском языке.
Программа курса:
- Паттерны сообщений
- Лог коммитов
- Компоненты Kafka
- Партиции
- Перебалансировщик партиций
- Продюсер
- Отправление сообщений
- Конфигурации продюсера
- Сериализация продюсера
- Консумер и группы консумеров
- Консумер Kafka
- Конфигурации консумера
- Коммиты и смещения
- Конфигурация смещения коммитов
- Обработка перебалансировки
- Остановка консумера
- Десериализация консумера
- Выполнение единственного консумера
- Репликация
- Контроллер Kafka
- Обработка запросов
- Выделение партиций
- Хранилище данных
- Надежность в Kafka
- Надежные продюсеры и консумеры
- Kafka vs другие системы
- Знакомство с Zookeeper
- Пример использования Zookeeper
Особенности курса:
Установка Kafka не требуется, все настроено в облаке
