CLICH: Построение DWH на ClickHouse

• Назначение и архитектура ClickHouse

• Логическая структура базы данных

• Уровни логирования

• Преимущества и ограничения колоночных СУБД

• Сценарии использования ClickHouse

• Сценарии развертывания кластера ClickHouse и планирование установки: облако, on premises, docker.

Лабораторная работа: Создание кластера ClickHouse с использованием Managed Service for ClickHouse или установка в Docker, настройка подключений и написание запросов к системным таблицам.

2. Структура БД в ClickHouse

• Движки баз данных и таблиц (MergeTree, CollapsingMergeTree, Log, Memory, Buffer)

• Констрейнты, индексы, проекции

• Простые и материализованные представления

• Внешние и внутренние словари и работа с ними

Лабораторная работа: Создание баз данных, таблиц, индексов, представлений и проекций в ClickHouse.

3 . Основы ClickHouse SQL

• Типы данных

• Команды DDL и DML

• Эффективное написание SQL-запросов

• Пользовательские функции

• Функции работы с датой и временем

Лабораторная работа: Пишем быстрые SQL-запросы и оптимизируем их.

4. Оптимизация и производительность

• Профилирование и EXPLAIN

• Использование system.query_log

• Партиционирование и кластеризация

• Предварительное агрегирование и кэширование данных

Лабораторная работа: Находим и ускоряем “тяжёлые” запросы. Профилирование и оптимизация запросов.

5. Распределённые системы

• Шардирование и репликация

• Настройка отказоустойчивого кластера

• Балансировка нагрузки

Лабораторная работа: Настраиваем отказоустойчивый кластер

6. Интеграция и расширенные возможности

• Работа с JSON, массивами, вложенными структурами

• Работа с географическими данными

• Потоковая обработка данных. Паттерны применения ClickPipes

• Интеграция с Kafka, PostgreSQL

• Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase

• Обработка событий в режиме реального времени

Лабораторная работа: Создаём потоковую обработку данных на ClickHouse

7. Администрирование и безопасность ClickHouse

• Управление пользователями и ролями

• Методы аутентификации

• Резервное копирование и восстановление

• Мониторинг и кастомные метрики

• Алертинг (Prometheus, Grafana)

Лабораторная работа: Настройка резервного копирования в ClickHouse. Реализация кастомных метрик, построение дашбордов, (Monitoring service – Prometheus, Visualization Tool – Grafana).

8. Итоговое тестирование

Тестирование ( на английском языке ) обязательно в случае дальнейшего участия в курсе подготовки к сертификации « ClickHouse Certified Developer »