О курсе

Курс посвящён подготовке данных для аналитики и машинного обучения. В программе рассматриваются архитектура хранилищ данных, подходы к их проектированию, а также инструменты для автоматизации ETL-процессов, такие как Airflow. Уделяется внимание сравнению Big Data решений на базе Hadoop и реляционных MPP СУБД, а также работе с облачными платформами и Kubernetes.

В рамках курса изучаются реляционные и MPP базы данных, включая PostgreSQL и Greenplum. Рассматриваются принципы построения ETL-пайплайнов и их автоматизация с помощью Airflow. Большой блок посвящён распределённому хранению и обработке больших данных с использованием Hadoop и Spark, включая вопросы отказоустойчивости и мониторинга.

Отдельные модули посвящены проектированию DWH (Data Warehouse), облачным хранилищам и Data Lake, а также визуализации данных с помощью BI-инструмента Tableau. В курсе также рассматриваются основы распределённого машинного обучения с использованием Spark ML, управление моделями и данными, включая инструменты для построения ML-пайплайнов и контроля качества данных.

Что рассматривается в программе

  • Рассматривается архитектура реляционных и MPP СУБД, включая PostgreSQL и Greenplum.
  • Изучаются принципы построения и автоматизации ETL-процессов с помощью Airflow.
  • Разбираются механизмы распределённого хранения и обработки больших данных на базе Hadoop и Spark.
  • Рассматриваются подходы к проектированию хранилищ данных (DWH).
  • Изучаются облачные решения для построения DWH и Data Lake, включая Kubernetes.
  • Осваивается работа с BI-инструментом Tableau для визуализации данных.
  • Рассматриваются основы распределённого машинного обучения с использованием Spark ML.
  • Изучаются инструменты для управления моделями и контроля качества данных.

Кому может быть полезен курс

  • Инженерам данных, желающим систематизировать знания и углубиться в актуальные технологии.
  • Аналитикам данных, которые хотят лучше разобраться в ETL-процессах и архитектуре хранилищ.
  • BI-разработчикам, стремящимся освоить проектирование современных хранилищ данных.
  • Backend-разработчикам, заинтересованным в задачах хранения и обработки больших данных.

Вопросы о программе

Какие базы данных рассматриваются в курсе?

В курсе рассматриваются реляционные и MPP СУБД, в том числе PostgreSQL и Greenplum.

Какие инструменты для автоматизации ETL изучаются?

Для автоматизации ETL-процессов в курсе рассматривается инструмент Airflow.

Входит ли в программу работа с облачными технологиями?

Да, в курсе рассматриваются облачные решения для построения DWH и Data Lake, а также Kubernetes для работы с данными.

Какие темы по машинному обучению включены?

В курсе рассматриваются основы распределённого машинного обучения с использованием Spark ML, а также инструменты для управления моделями и подготовки данных.