О курсе

Курс посвящён разработке больших языковых моделей с нуля. В рамках программы рассматривается архитектура GPT и её ключевые компоненты: токенизация (BPE), эмбеддинги, механизмы внимания, feed-forward сети, декодер. Участники реализуют модель на Python и PyTorch, не используя готовые библиотеки для трансформеров. Также затрагиваются вопросы сэмплирования, подготовки данных и цикла обучения. В конце курса представлен обзор других архитектур, таких как GPT-2, LLama, Mistral, Mixtral и Gemma. Автор курса — Вячеслав Колосков, Machine Learning Engineer с опытом работы в телекоме и NLP.

Что рассматривается в программе

  • Чтение схем архитектур на основе Трансформеров
  • Понимание принципов проектирования современных LLM
  • Алгоритм токенизации текста (BPE)
  • Реализация ключевых компонентов GPT
  • Управление креативностью модели (сэмплирование)
  • Сбор и подготовка данных для обучения
  • Настройка Pre-train цикла обучения LLM

Кому может быть полезен курс

  • Разработчикам, желающим глубоко разобраться в архитектуре современных языковых моделей
  • Инженерам машинного обучения, интересующимся реализацией LLM с нуля
  • Исследователям, которым нужно ознакомиться с внутренним устройством GPT-подобных моделей

Вопросы о программе

Какие начальные требования к уровню знаний?

Необходимы базовые знания Python, минимальное ООП, понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики), базовые знания PyTorch (линейные слои, активации, нормализация, дропаут, обратное распространение). Желателен опыт реализации полносвязной сети для многоклассовой классификации.

Какие инструменты используются в курсе?

Для разработки используются только Python и низкоуровневый PyTorch, без сторонних библиотек для трансформеров.

Какие модели рассматриваются в курсе?

Основной фокус на GPT, но также рассматриваются другие архитектуры: GPT-2, LLama, Mistral, Mixtral, Gemma.

Кто автор курса?

Автор — Вячеслав Колосков, Machine Learning Engineer с опытом работы более 15 лет в IT, последние 5 лет работает в телекоме, занимается NLP и разработкой RAG-систем.