О курсе

Курс «Компьютерное зрение. Advanced» от OTUS ориентирован на специалистов, уже знакомых с Python, нейросетями и базовыми задачами компьютерного зрения. В программе рассматриваются архитектуры нейронных сетей — от свёрточных до трансформеров, методы Self-Supervised Learning и адаптивные методы градиентного спуска.

Отдельные модули посвящены стандартным задачам CV: детекции объектов (семейства R-CNN и YOLO), сегментации, Pose Estimation, Face Recognition, трекингу и ре-идентификации. Также разбираются генеративные модели: вариационные автоэнкодеры, GAN, диффузионные модели, Stable Diffusion, мультимодальная генерация и видеомодели.

В продвинутом блоке рассматриваются Zero-Shot Learning, стереозрение и калибровка камеры, геометрические методы, 3D-реконструкция (MVSNet, NeRF), SLAM и архитектуры для автономного транспорта, а также распознавание и детекция действий на видео.

Практический модуль посвящён оптимизации и инференсу моделей: TensorRT, ONNX, Triton, ускорению работы с видео и архитектуре проектов видеоаналитики. Предусмотрены бонусные занятия по основам нейронных сетей и глубокого обучения, включая операции свёртки, подготовку данных, градиентный спуск, регуляризацию и проблемы градиентов.

Что рассматривается в программе

  • Работа с PyTorch 2.x, torchvision, OpenCV, Kornia, Hugging Face и OCR-библиотеками
  • Разбор архитектур нейронных сетей: от свёрточных до Vision Transformers
  • Изучение методов Self-Supervised Learning: SimCLR, BYOL, FixMatch, MAE, DINO
  • Рассмотрение задач детекции, сегментации, Pose Estimation, Face Recognition, трекинга и ReID
  • Работа с генеративными моделями: VAE, GAN, диффузионные модели, Stable Diffusion, видеомодели
  • Изучение геометрических методов CV, стереозрения, 3D-реконструкции и SLAM
  • Оптимизация и инференс моделей: TensorRT, ONNX, Triton
  • Выполнение выпускного проекта по теме курса

Кому может быть полезен курс

  • Опытным специалистам в области компьютерного зрения с опытом от 1 до 3 лет, желающим углубиться в специфичные задачи CV
  • Тем, кто самостоятельно освоил компьютерное зрение и хочет упорядочить и актуализировать знания
  • Опытным питонистам, знакомым с компьютерным зрением и нейросетями
  • Тем, кто прошёл курс «Компьютерное зрение» в OTUS и хочет продолжить обучение

Вопросы о программе

Какие предварительные знания нужны для курса?

Требуется уверенное знание Python, понимание работы нейросетей и методов глубокого обучения, а также базовые знания по компьютерному зрению.

Какие темы рассматриваются в программе?

В программе рассматриваются нейросетевые архитектуры, стандартные задачи CV (детекция, сегментация, трекинг, ReID), генеративные модели, геометрические методы, 3D-реконструкция, SLAM, а также оптимизация и инференс моделей.

Предусмотрен ли выпускной проект?

Да, в рамках курса предусмотрен выпускной проект, который можно прикрепить к резюме.

Какие инструменты и технологии изучаются?

Среди технологий: PyTorch 2.x, torchvision, OpenCV, Kornia, Hugging Face, OCR, TensorRT, ONNX, Triton, а также различные архитектуры и методы из области компьютерного зрения.