О курсе

Курс «Apache Kafka для разработки и архитектуры» от Яндекс.Практикума предназначен для специалистов, работающих с распределёнными системами и обработкой данных. Программа 2025 года включает семь модулей, начиная с базовых концепций и архитектуры Kafka, установки и настройки кластера, работы с продюсерами, консьюмерами и consumer groups. Далее рассматривается потоковая обработка данных с использованием KSQL и ksqlDB, администрирование Kafka, включая балансировку и мониторинг. Отдельный модуль посвящён интеграции с внешними системами через Kafka Connect, в частности с Debezium PostgresConnector. Вопросы безопасности охватывают защиту кластера, работу с внешними службами авторизации и ACL. Завершающий модуль посвящён эксплуатации Kafka в production, работе в облаке и интеграции с Big Data экосистемой: Apache NiFi, Spark, Hadoop. В конце курса предусмотрен финальный проект, в котором слушатели конфигурируют сервис с использованием изученных технологий.

Что рассматривается в программе

  • Рассматриваются основные концепции и архитектура Apache Kafka.
  • Изучается установка и настройка Kafka-кластера, работа с продюсерами и консьюмерами, consumer groups.
  • Разбирается потоковая обработка данных с использованием KSQL и ksqlDB.
  • Осваиваются приёмы администрирования Kafka: балансировка, мониторинг.
  • Изучается интеграция с внешними системами через Kafka Connect и Debezium PostgresConnector.
  • Рассматриваются вопросы безопасности Kafka-кластера: ACL, внешние службы авторизации.
  • Изучается эксплуатация Kafka в production, в облаке, а также интеграция с Apache NiFi, Spark, Hadoop.

Кому может быть полезен курс

  • Бэкенд-разработчикам, которые пишут на Java, Python или Golang и хотят освоить Kafka для создания систем обработки данных в реальном времени.
  • Архитекторам ПО, интересующимся построением распределённых систем с высокой интеграцией и консистентностью данных.
  • DevOps-инженерам, которым нужно ознакомиться с инструментами автоматизации развёртывания, настройки и мониторинга Kafka-кластеров.
  • Инженерам данных, желающим изучить построение конвейеров данных с использованием Kafka.

Вопросы о программе

Какие темы входят в программу курса?

Программа включает базовую эксплуатацию Kafka, потоковую обработку (KSQL, ksqlDB), администрирование, интеграцию через Kafka Connect, безопасность, работу в production и интеграцию с Big Data экосистемой (NiFi, Spark, Hadoop).

Какие предварительные требования указаны для прохождения курса?

Для курса рекомендуется опыт программирования на Java, Python или Golang, работа в Linux, понимание баз данных SQL и NoSQL, знание архитектуры распределённых систем, а также умение запускать приложения в Docker-контейнерах.

Для кого предназначен курс?

Курс ориентирован на бэкенд-разработчиков, архитекторов ПО, DevOps-инженеров и инженеров данных, которые хотят освоить Apache Kafka для работы с системами обработки данных.

Что включает финальный проект?

В финальном проекте слушатели конфигурируют сервис с использованием технологий, изученных на курсе.