О курсе
Курс «Senior DataScience: Введение в устройство LLM и Transformers» знакомит с внутренним устройством больших языковых моделей и архитектурой Transformer. По описанию программы, материал охватывает путь от токенизации и векторизации слов до механизма Self-Attention и различий между энкодерными и декодерными моделями, такими как BERT и GPT.
В программе рассматриваются этапы обучения моделей: Pre-training, Fine-tuning и RLHF, а также вопросы генерации текста (Inference) и настройки параметров Temperature, Top-k и Top-p. Отдельное внимание уделяется ограничениям ИИ, включая природу галлюцинаций и предвзятости моделей.
Курс построен в формате статей с примерами кода, схемами и аналогиями. По заявлению автора, повествование ведётся в форме диалога между автором и стажёром Максом. Для изучения примеров кода упоминаются библиотеки transformers и pytorch.
Автор курса — Вячеслав Рыльков, Data Scientist в Сбере, выпускник МГТУ им. Н.Э. Баумана. В описании указано, что он ведёт канал об AI и является двукратным победителем форума «Шаг в будущее». Формат курса — PDF.
Что рассматривается в программе
- Разбор архитектуры Transformer и различий между энкодером (BERT) и декодером (GPT).
- Понимание механизма Self-Attention и роли векторов Query, Key и Value.
- Различение стратегий обучения: Pre-training, Fine-tuning и RLHF.
- Настройка параметров генерации текста: Temperature, Top-k и Top-p.
- Ориентация в типах моделей и их применении для задач классификации, перевода и генерации.
- Понимание природы галлюцинаций и предвзятости моделей.
- Работа с примерами кода на библиотеках transformers и pytorch.
Кому может быть полезен курс
- Разработчикам (Backend, Fullstack, Python), которые используют API языковых моделей и хотят разобраться в их внутреннем устройстве.
- Data Scientist и ML-инженерам уровня Junior/Middle, знакомым с классическим ML, но не с NLP и трансформерами.
- Техническим менеджерам и Product Owners, которым нужно ориентироваться в терминологии LLM при обсуждении продуктовых задач.
- Тем, кто интересуется архитектурой Transformer и механизмом внимания на инженерном уровне.
Вопросы о программе
Какие темы рассматриваются в программе курса?
В программе рассматриваются понимание NLP и больших языковых моделей, векторизация текста, история и архитектура трансформеров, механизм внимания, способы решения задач, обучение моделей и генерация ответов с помощью LLM.
В каком формате представлен материал?
Курс представлен в формате PDF. Каждый урок — это статья с примерами кода, схемами и аналогиями. По описанию, повествование построено как диалог между автором и стажёром Максом.
Какие начальные знания требуются для прохождения курса?
Указаны базовое знание Python (умение читать код), школьная математика (понимание векторов, вероятностей и графиков функций) и общее понимание IT (например, что такое API, база данных или JSON).
Кто автор курса?
Автор курса — Вячеслав Рыльков, Data Scientist в Сбере, выпускник МГТУ им. Н.Э. Баумана. В описании также указано, что он ведёт канал об AI и является двукратным победителем форума «Шаг в будущее».