О курсе
Программа ориентирована на аналитиков и инженеров данных уровня Middle/Senior и знакомит с архитектурой Lakehouse, в которой слои хранения и вычислений разделены. В качестве хранилища рассматривается S3 с форматом Iceberg, а вычислительный слой строится на Trino в Kubernetes. Отдельное внимание уделяется структуре формата Iceberg и формату Parquet.
Что рассматривается в программе
- рассматривается архитектура Lakehouse с разделением Compute и Storage
- разбирается структура формата Iceberg и формат Parquet
- работа с кластером Trino over k8s и данными на S3
- построение гибридных пайплайнов с использованием SQL, Python и Spark
- анализ метрик запросов в Trino
Кому может быть полезен курс
- аналитикам данных, интересующимся современными архитектурами хранения и обработки
- инженерам данных, которым нужно ознакомиться с Iceberg и Trino
- специалистам уровня Middle/Senior, работающим с пайплайнами данных
Вопросы о программе
Сколько длится обучение?
Программа рассчитана на 6 недель, встречи проходят раз в неделю.
Какой уровень подготовки предполагается?
Курс ориентирован на специалистов уровня Middle/Senior.
Какие технологии рассматриваются в программе?
В рамках занятий рассматриваются Lakehouse, Iceberg, Trino, Parquet, SQL, Python и Spark.
В каком формате проходят занятия?
Заявлены живые онлайн-сессии, обсуждения, демонстрации и практика.