О курсе

Курс-симулятор посвящён задачам инженера данных и построен вокруг разбора бизнес-кейсов. По описанию программы, обучение ориентировано на решение рабочих задач и подготовку к собеседованиям, включая тестовые задания и тестовые собеседования в процессе обучения. Отдельно заявлено формирование портфолио из задач разных сфер бизнеса.

Программа охватывает широкий стек: реляционные базы данных и SQL, визуализацию в Metabase, систему контроля версий Git/GitHub, программирование на Python, объектно-ориентированное программирование, библиотеки для анализа данных, Linux, Docker, Airflow, продвинутый SQL для больших данных, хранилище Clickhouse, Hadoop и озера данных, а также Spark/pySpark. В описании указано количество уроков по каждому разделу.

В разделе о SQL и базах данных рассматриваются сложные запросы на кейсах из ритейла, финтеха и онлайн-платформ, проектирование реляционных баз с учётом нормализации, администрирование баз и работа с ними через IDE и терминал. Блок по Metabase посвящён визуализации результатов SQL-запросов, построению графиков без кода, сборке дашбордов с фильтрами и базовому администрированию Metabase на сервере.

Разделы по Python включают написание скриптов для сбора данных, коннекторов к базам, работу с API, обработку и очистку данных, а также ООП и библиотеки Numpy, Pandas, Matplotlib, Seaborn, Plotly. В части по Linux и Docker рассматриваются командная строка, bash-скриптинг, cron и systemd, развёртывание аналитической инфраструктуры в контейнерах. Airflow посвящён оркестрации скриптов и созданию ETL/ELT-пайплайнов.

Завершающие модули касаются продвинутого SQL (функции, процедуры, триггеры, оптимизация запросов), хранилища Clickhouse, Hadoop и Data Lake, а также Spark/pySpark. В описании перечислены преподаватели курса.

Что рассматривается в программе

  • работа с реляционными базами данных и написание сложных SQL-запросов
  • проектирование и администрирование баз данных
  • визуализация данных и сборка дашбордов в Metabase
  • работа с системой контроля версий Git/GitHub
  • программирование на Python, включая ООП и библиотеки для анализа данных
  • работа с Linux, bash-скриптинг и автоматизация через cron и systemd
  • контейнеризация и развёртывание инфраструктуры с помощью Docker
  • оркестрация скриптов и создание ETL/ELT-пайплайнов в Airflow

Кому может быть полезен курс

  • тем, кто интересуется профессией инженера данных и хочет ознакомиться с её базовыми задачами
  • начинающим инженерам данных, которым нужно структурировать знания по стеку
  • аналитикам данных, интересующимся методами обработки и трансформации данных
  • разработчикам, которым нужно ознакомиться со специфическими задачами инженерии данных, включая ETL-процессы

Вопросы о программе

Какие инструменты рассматриваются в программе?

В описании указаны PostgreSQL, DBeaver, Clickhouse, Python, Pandas, Numpy, Matplotlib, Seaborn, Plotly, gspread, VS Code, Google Colab, Jupyter Notebook, Metabase, Linux, Docker, bash, Airflow, Git/GitHub, Hadoop, Spark/pySpark.

Из каких разделов состоит программа?

Программа включает введение в профессию, SQL и базы данных, визуализацию в Metabase, Git/GitHub, Python, ООП в Python, Python для анализа данных, Linux, Docker, Airflow, продвинутый SQL для больших данных, хранилища данных на примере Clickhouse, Hadoop и озера данных, Spark/pySpark.

Кому адресован курс-симулятор?

В описании курс ориентирован на новичков в профессии, начинающих инженеров данных, аналитиков данных и разработчиков.

Что говорится о подготовке к собеседованиям?

По описанию программы, в процессе обучения предусмотрены тестовые задания от реальных компаний и тестовые собеседования.