KAFKA: КУРС АДМИНИСТРИРОВАНИЕ КЛАСТЕРА KAFKA 4.0

1. Введение в Apache Kafka 4.0

• Что такое Apache Kafka

• Сценарии использования Kafka

• Компоненты Kafka и Kafka экосистемы

• Архитектура Kafka 4

• Эволюция Kafka: от Zookeeper к KRaft

• Новая архитектура без Zookeeper (KIP-500, KIP-866)

• Что нового в Kafka 4.0: ключевые функции, изменения и совместимость

• Кластер Zookeeper (опционально)

2. Основные концепции Kafka и компоненты

• Как работает Kafka: Топики (Topics) и партиций (Partitions)

• Репликация данных.Брокеры (Brokers): Развертывание. Конфигурация Multibroker

• Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.

• Потребители данных (Consumers): Очереди Consumers.

• Архитектура с KRaft Controller’ами

• Новый механизм управления метаданными

• Логическая структура брокеров и quorum.

3. Установка кластера Apache Kafka

• Установка Kafka 4.0 в KRaft-режиме

• Минимальные требования

• Установка Kafka без Zookeeper

• Настройка KRaft controllers и quorum voters

• Примеры конфигурации kraft-controller mode

• Sizing и планирование развертывания кластера

• Установка Kafka c Zookeeper (обзорно)

• Процедуры миграции с Apache Kafka 3.х на 4.0

4. Базовые операции в Apache Kafka

• Операции с Топиками (Topic)Публикация данных с консольного Producer

• Получение данных с консольного Consumer

• Пользовательские интерфейсы для работы с Kafka

5. Оптимизация кластера Apache Kafka

• Оптимизация производительности компонент кластера

• Масштабирование кластера

• Балансировка разделов(partition) и использование Partition Reassignment Tools

• Best Practices Kafka — Мониторинг кластера Kafka

• Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

6. Интеграция с Apache Kafka (обзорно)

• Использование Apache NiFi

• Интеграция Apache Hadoop с Kafka

• Сценарии интеграции с Apache Kafka

7. Расширенная конфигурация кластера Kafka

• Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.

• Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки

логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.

• REST Proxy. Schema Registry (обзорно)

• Репликация кластера с использованием Mirror Maker 2

• Новые подходы к rolling-обновлениям в кластере без Zookeeper

8. Безопасность в Apache Kafka 3/4

• Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов

• Аутентификация SSL/SASL

• Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos

• Авторизация в Kafka …