О курсе

Курс посвящён обучению с подкреплением (Reinforcement Learning) — одной из парадигм машинного обучения, в которой агент учится взаимодействовать со средой методом проб и ошибок. Программа построена последовательно: от базовых понятий (агент, среда, награда, политика) и классических алгоритмов (Q-learning, SARSA, Monte Carlo) до глубокого обучения с подкреплением.

В модуле Deep Reinforcement Learning рассматриваются Deep Q-Network (DQN), Deep Policy Gradient, Actor-Critic, а также переходы TRPO → PPO и DDPG → TD3 → LSTM-TD3. Отдельное внимание уделено аппроксимации функций вознаграждения и политик с помощью нейронных сетей.

Продвинутый модуль включает обучение с использованием модели среды (model-based RL), иерархическое обучение с подкреплением, многоагентное обучение и кооперацию агентов, а также трансформеры в RL (decision transformers и action transformers).

Практический модуль посвящён применению RL в игровой индустрии, робототехнике, рекомендательных системах, задаче кредитного скоринга и управлении финансовым портфелем. Завершается курс проектной работой с консультациями преподавателей, предзащитой и защитой.

Преподаватели курса — эксперты-практики из FinTech, IT-компаний и других сфер, которые делятся опытом и дают обратную связь по домашним заданиям.

Что рассматривается в программе

  • Понимание принципов обучения с подкреплением и применение классических алгоритмов: Q-learning, SARSA, Monte Carlo
  • Создание моделей окружения и обучение агентов RL
  • Использование нейронных сетей в RL и алгоритмов Deep RL: DQN, PPO и других
  • Применение продвинутых методов: оптимальное управление, обучение со скользящим горизонтом, Model-based RL
  • Решение практических задач с помощью RL в игровой индустрии, робототехнике, рекомендательных системах и финансах

Кому может быть полезен курс

  • ML-инженерам, которые интересуются внедрением RL в продакшн: оптимизация систем, алгоритмический трейдинг, управление ресурсами
  • Специалистам по Data Science, которые рассматривают RL для задач, где классический ML может быть неэффективен: адаптивные системы, динамические среды
  • Fullstack-разработчикам, которые хотят освоить RL для создания интеллектуальных приложений или перейти в ML-направление
  • Системным аналитикам, которые изучают RL для проектирования AI-решений в бизнесе: автоматизация процессов, логистика, финансы
  • Deep Learning инженерам, работающим с Deep RL в сложных доменах: робототехника, игровые AI, компьютерное зрение

Вопросы о программе

Какие предварительные знания нужны для курса?

Требуется базовое знакомство с Python, базовые знания линейной алгебры (матрицы, векторы, градиентный спуск) и базовые навыки работы с ML (pandas, sklearn, линейная и логистическая регрессия).

Какие алгоритмы рассматриваются в программе?

В программе рассматриваются классические алгоритмы (Q-learning, SARSA, Monte Carlo), алгоритмы Deep RL (DQN, Deep Policy Gradient, Actor-Critic, TRPO, PPO, DDPG, TD3, LSTM-TD3), а также продвинутые темы: model-based RL, иерархическое обучение, многоагентное обучение и трансформеры в RL.

В каких областях предлагается применение RL?

В материалах курса рассматривается применение RL в игровой индустрии, робототехнике, рекомендательных системах, задаче кредитного скоринга и управлении финансовым портфелем.

Как организована проектная работа?

Заключительный месяц посвящён проектной работе. Слушатели выбирают тему, могут получить консультации преподавателей, проходят предзащиту и защиту проекта.